Российские ученые создали ИИ, способный самостоятельно обучиться новым действиям

Российские ученые из T-Bank AI Research и AIRI впервые в мире разработали искусственный интеллект (ИИ), способный самостоятельно адаптироваться к новым действиям. Эта технология, известная как обучение в контексте (In-Context Learning), позволяет ИИ-агентам приспосабливаться к новым условиям без необходимости переобучения.

Обучение в контексте позволяет ИИ-агентам адаптироваться к изменениям окружающей среды, используя четыре ключевых компонента: состояние (State), переход (Transition), награда (Reward) и действие (Action). Ранее ИИ-агенты успешно справлялись с первыми тремя компонентами, но адаптация по действиям оставалась проблемной, требуя переобучения при добавлении новых действий.

Модель Headless-AD, созданная на основе алгоритма дистилляции (Algorithm Distillation), решает эту проблему с помощью трех основных модификаций: отказ от конечного линейного слоя, кодировка действий случайными векторами и внедрение контекста. Это позволяет модели автоматически адаптироваться к новым действиям без потери качества.

В экспериментах Headless-AD продемонстрировала значительное преимущество. В задачах рекомендательных систем, таких как «Контекстуальные бандиты», модель смогла рекомендовать в 5 раз больше товаров по сравнению с обученной моделью AD, без необходимости переобучения для нового набора товаров. Также в задаче «Многорукие бандиты» Headless-AD показала результаты на уровне специализированного алгоритма.