ИИ научили обрабатывать последовательности длиной в 2 млн токенов | Новости науки
Группа российских ученых из Московского физико-технического института, Института искусственного интеллекта AIRI и Лондонского института математических наук предложила новаторский метод для обработки больших данных. Он позволяет искусственному интеллекту генерировать ответы на вопросы объемом до двух миллионов токенов. На сегодняшний день это — мировой рекорд.
Исследование поможет разработать быстрые нейросетевые алгоритмы для больших объемов данных и генерации на его основе корректных ответов на запросы пользователей, подчеркнули в МФТИ.
Предложенный метод основан на особом механизме использования языковых моделей (алгоритмов для предсказания слова, знака или фразы на основе контекста). Такие модели лежат в основе современных диалоговых систем, поисковых сервисов и голосовых помощников. Их программную часть составляют трансформеры — универсальные архитектуры, которые помогают выстроить правильный порядок действий при обработке запроса и генерации ответа. В частности, трансформеры позволяют нейросетям выполнять множество задач одновременно, что ускоряет их работу.
«Однако модели, которые используют стандартные трансформеры, не могут обрабатывать длинные тексты. Их скорость быстро падает, когда размер текста увеличивается. В результате нейросети приходят к пределам возможностей, выдают «галлюцинации» или ошибочные ответы», — объяснил проблему один из авторов научной работы, программист-разработчик лаборатории нейронных систем и глубокого обучения МФТИ Айдар Булатов.
По его словам, чтобы обойти преграду, команда исследователей предложила добавить трансформерам «механизм памяти». Суть идеи в том, чтобы разделить длинные входные последовательности на сегменты и снабдить их дополнительными алгоритмами для резервирования информации. Эти элементы служат как бы «мостиками», по которым важные данные переносятся с предыдущего сегмента на следующий. Это позволяет языковой модели держать в «памяти» весь длинный текст на всем его протяжении. На следующем этапе программа уже может выполнять с «усвоенным» текстом различные операции, обрабатывая информацию в соответствии с запросами пользователей.
«Сначала мы проводили эксперименты на небольших последовательностях — от 7 до 15 сегментов, в каждом из которых по 500 токенов (базовых единиц информации в языковых моделях), но заметили, что качество обработки данных при увеличении длины не падает. Тогда мы продолжили тестирование модели и дошли до миллиона, а затем — и до двух миллионов токенов. Для сравнения это объем всех книг о Гарри Поттере», — отметил соавтор работы, научный сотрудник AIRI Юрий Куратов.
Ученые также исследовали «интеллектуальные» способности модели, задавая ей задачи на обнаружение в длинных текстах нужных данных, на их запоминание и на «рассуждения» на основе усвоенного. При этом программа продемонстрировала не только способности удерживать в «памяти» массивы информации, но и навыки «критического мышления» и «писательского мастерства».
По мнению авторов работы, предложенный метод будет востребован для разработки технологий обработки больших баз данных. Например, для быстрого перевода книг, чтения программного кода, изучения геномных последовательностей или предсказания новых материалов.
Исследование опубликовано в сборнике трудов конференции AAAI-24, которая ежегодно проходит в Ванкувере (Канада). Это одно из крупнейших глобальных событий в сфере изучения искусственного интеллекта.