Команда специалистов МФТИ «DeepPavlov Lab» приняла участие в хакатоне X5 Tech AI Hac» от X5 Tech., который проводился с 17 по 30 мая. Хакатон состоял из двух треков: маскирование и детекция галлюцинаций.
В первом случае необходимо было разработать автоматизированный алгоритм, который будет определять в массиве данных конфиденциальные сведения и заменять их. Решение должно подходить для обучения сторонних языковых моделей без передачи им чувствительной информации с сохранением высокого результата.
Задание по треку детекция галлюцинаций предусматривало создание системы, позволяющей определять наличие галлюцинаций различных типов у больших языковых моделей (БЯМ), которые применяют для создания справочных чат-ботов, работающих по принципу «вопрос-ответ». Галлюцинации можно определить как аномалии генерации, при которых полученный результат кажется бессмысленным или не соответствует запросу пользователя.
Решение данной проблемы поможет избежать случаев дезинформации пользователя или предоставления ему некорректных результатов, что, в свою очередь, снизит риски, препятствующие использованию больших языковых моделей в реальных задачах, и увеличит доверие пользователей к технологии.
Согласно условиям хакатона, в каждой команде-участнице могло быть от двух до пяти человек. В команде было два игрока: исследователь ИЦ прикладных систем ИИ МФТИ Иван Максимов (роль в команде — NLP-инженер, капитан команды). Он отвечал за выбор принципа решения задачи, подбор моделей машинного обучения, тренировку моделей, оценку промежуточных результатов. Дмитрий Арещенков (роль в команде — разработчик) отвечал за разработку Бэкэнда и за прохождение промежуточных решений через CI/CD пайплайн.
Предложенное командой решение было основано на отборе нескольких «хороших» трансформерных моделей, последующем их дообучении и построении ансамбля, где в качестве метамодели предлагалось обучить классификатор на основе градиентного бустинга на решающих деревьях.
При разработке решения особое внимание уделялось критериям, при которых созданная система должна была работать без видеокарты с ограничением в 8 ГБ по объему оперативной памяти, а также без возможности доступа в Интернет. Указанные условия влияют на масштабируемость решения, а значит система может быть адаптирована к различным типам устройств.
В настоящее время все больше систем основываются на технологиях больших языковых моделей. Безусловно, в рамках хакатона был представлен лишь базовый подход к решению проблемы галлюцинаций БЯМ. Для создания конечного продукта требуется, как минимум, провести дополнительные испытания созданного решения на более разнообразных данных, проанализировать ошибки и сделать замеры производительности. Это поможет выявить слабые места в данном подходе и, скорректировав их, получить действительно полезное и конкурентоспособное решение на рынке с учетом уже имеющихся наработок, полученных в рамках Центра ИИ», - прокомментировал Иван Максимов, исследователь Исследовательского центра прикладных систем искусственного интеллекта МФТИ.
Команда вошла в тройку лучших в треке детектирования галлюцинаций. Общий призовой фонд хакатона составил 2 млн рублей. Победители по каждому треку разделили приз следующим образом: 500 тыс. рублей получила команда, занявшая первое место, 300 тыс. рублей — второе и 200 тыс. рублей — третье.