Молодые ученые из МФТИ получили премию Data Fusion 2025

Сотрудники Лаборатории нейронных систем и глубокого обучения ИЦ прикладных систем ИИ МФТИ Айдар Булатов и Юрий Куратов стали лауреатами премии Data Fusion Awards в номинации «Научный прорыв года в ИИ».

Премия Data Fusion Awards присуждается за выдающиеся достижения в развитии тренда Data Fusion, успешную реализацию междисциплинарных проектов по анализу больших данных с использованием технологий ИИ и машинного обучения, а также за значимый вклад в развитие образовательных инициатив в сфере подготовки специалистов. Жюри рассматривало научные статьи ученых в области искусственного интеллекта и робототехники, опубликованные в журналах или материалах конференций в 2024 году.

Премию вручили в рамках конференции Data Fusion 2025 — кросс-индустриальной площадкой для диалога бизнеса, науки и государства, которая проходила в Москве 16–17 апреля.

Победителем конкурса «Научный прорыв года в ИИ» стал Айдар Булатов, аспирант кафедры дискретной математики ФПМИ, научный сотрудник AIRI, младший научный сотрудник лаборатории нейронных систем и глубокого обучения МФТИ. Его исследование предлагает революционное решение для увеличения контекстного окна — критического параметра для больших языковых моделей.

Главная идея работы Айдара — соединить трансформеры и рекуррентный механизм памяти. В этом случае текст делится на кусочки, каждый из которых обрабатывается последовательно. При этом в каждый сегмент добавляются векторы памяти, которая обновляется на каждой итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом все равно с каждым сегментом в памяти сохраняется все больше и больше информации о тексте.

Данная модель, хотя и обучалась только на последовательностях длины до трех с половиной тысяч токенов, при тестировании показала способность обрабатывать последовательности длиной более двух миллионов токенов.

Призовое место также занял Юрий Куратов, к.ф.-м.н., сотрудник AIRI и старший исследователь лаборатории нейронных систем и глубокого обучения МФТИ, который совместно с коллегами из AIRI и LIMS предложил уникальный стандарт оценки качества и эффективности работы больших языковых моделей на длинных последовательностях, измеряемыми сотнями тысяч и даже миллионами токенов.

Он и коллеги разработали усложненную бенчмарк на основе идеи поиска иголки в стоге сена — BABILong. Бенчмарк BABILong позволяет проверять способность моделей выполнять логические задачи в длинных контекстах, а также более точно выявлять сильные и слабые стороны моделей при работе с длинными задачами. Таким образом, проект Юрия и его коллег имеет потенциал стать отраслевым ориентиром для всего сообщества, работающего с ИИ. Стоит отметить, что данный бенчмарк уже используют для оценки своих моделей ведущие компании отрасли, в том числе Google и NVIDIA.

Обе представленные работы выполнены в ходе исследований первой волны ИЦ прикладных систем искусственного интеллекта МФТИ. Лаборатория нейронных систем и глубокого обучения ведет фундаментальные и прикладные исследования по таким направлениям, как разработка алгоритмов машинного обучения, разработка фреймворков разговорного искусственного интеллекта и создание бенчмарков.

Поздравляем наших исследователей и желаем им новых научных прорывов!