Сотрудники Лаборатории нейронных систем и глубокого обучения ИЦ прикладных систем ИИ МФТИ Айдар Булатов и Юрий Куратов стали лауреатами премии Data Fusion Awards в номинации «Научный прорыв года в ИИ».
Премия Data Fusion Awards присуждается за выдающиеся достижения в развитии тренда Data Fusion, успешную реализацию междисциплинарных проектов по анализу больших данных с использованием технологий ИИ и машинного обучения, а также за значимый вклад в развитие образовательных инициатив в сфере подготовки специалистов. Жюри рассматривало научные статьи ученых в области искусственного интеллекта и робототехники, опубликованные в журналах или материалах конференций в 2024 году.
Премию вручили в рамках конференции Data Fusion 2025 — кросс-индустриальной площадкой для диалога бизнеса, науки и государства, которая проходила в Москве 16–17 апреля.
Премию вручили в рамках конференции Data Fusion 2025 — кросс-индустриальной площадкой для диалога бизнеса, науки и государства, которая проходила в Москве 16–17 апреля.
Расширения контекстного окна
Победителем конкурса «Научный прорыв года в ИИ» стал Айдар Булатов, аспирант кафедры дискретной математики ФПМИ, научный сотрудник AIRI, младший научный сотрудник лаборатории нейронных систем и глубокого обучения МФТИ. Его исследование предлагает революционное решение для увеличения контекстного окна — критического параметра для больших языковых моделей.
Главная идея работы Айдара — соединить трансформеры и рекуррентный механизм памяти. В этом случае текст делится на кусочки, каждый из которых обрабатывается последовательно. При этом в каждый сегмент добавляются векторы памяти, которая обновляется на каждой итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом все равно с каждым сегментом в памяти сохраняется все больше и больше информации о тексте.
Главная идея работы Айдара — соединить трансформеры и рекуррентный механизм памяти. В этом случае текст делится на кусочки, каждый из которых обрабатывается последовательно. При этом в каждый сегмент добавляются векторы памяти, которая обновляется на каждой итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом все равно с каждым сегментом в памяти сохраняется все больше и больше информации о тексте.
«Память — это ключевой механизм для построения интеллектуальных систем. Исследование новых механизмов памяти способно не только увеличить объем обрабатываемой моделями информации, но и повлиять на их способность к восприятию новых знаний, последовательному рассуждению и решению других задач, недоступных для моделей текущего поколения»,
делится Айдар Булатов.
Данная модель, хотя и обучалась только на последовательностях длины до трех с половиной тысяч токенов, при тестировании показала способность обрабатывать последовательности длиной более двух миллионов токенов.
Новый стандарт оценки качества больших языковых моделей
Призовое место также занял Юрий Куратов, к.ф.-м.н., сотрудник AIRI и старший исследователь лаборатории нейронных систем и глубокого обучения МФТИ, который совместно с коллегами из AIRI и LIMS предложил уникальный стандарт оценки качества и эффективности работы больших языковых моделей на длинных последовательностях, измеряемыми сотнями тысяч и даже миллионами токенов.
Он и коллеги разработали усложненную бенчмарк на основе идеи поиска иголки в стоге сена — BABILong. Бенчмарк BABILong позволяет проверять способность моделей выполнять логические задачи в длинных контекстах, а также более точно выявлять сильные и слабые стороны моделей при работе с длинными задачами. Таким образом, проект Юрия и его коллег имеет потенциал стать отраслевым ориентиром для всего сообщества, работающего с ИИ. Стоит отметить, что данный бенчмарк уже используют для оценки своих моделей ведущие компании отрасли, в том числе Google и NVIDIA.
Он и коллеги разработали усложненную бенчмарк на основе идеи поиска иголки в стоге сена — BABILong. Бенчмарк BABILong позволяет проверять способность моделей выполнять логические задачи в длинных контекстах, а также более точно выявлять сильные и слабые стороны моделей при работе с длинными задачами. Таким образом, проект Юрия и его коллег имеет потенциал стать отраслевым ориентиром для всего сообщества, работающего с ИИ. Стоит отметить, что данный бенчмарк уже используют для оценки своих моделей ведущие компании отрасли, в том числе Google и NVIDIA.
Обе представленные работы выполнены в ходе исследований первой волны ИЦ прикладных систем искусственного интеллекта МФТИ. Лаборатория нейронных систем и глубокого обучения ведет фундаментальные и прикладные исследования по таким направлениям, как разработка алгоритмов машинного обучения, разработка фреймворков разговорного искусственного интеллекта и создание бенчмарков.
Поздравляем наших исследователей и желаем им новых научных прорывов!