Российские ученые создали платформу для контекстного обучения с подкреплением  

Исследователи Университета Иннополис, T-Bank AI Research и AIRI разработали XLand-MiniGrid — открытую виртуальную среду для исследований в области контекстного обучения с подкреплением (In-Context RL). Это направление искусственного интеллекта помогает моделям быстрее адаптироваться к новым задачам, используя подсказки и контекст вместо длительного обучения с нуля. Платформа уже заинтересовала ведущие научные центры, включая Google DeepMind и Оксфордский университет.  

Почему это важно?

Контекстное обучение с подкреплением позволяет искусственному интеллекту быстро реагировать на новые условия и дообучаться в процессе работы. Это особенно полезно для персонализированных рекомендаций, управления роботами и автономных транспортных систем. Однако доступные платформы для таких исследований ограничены. Корпоративные среды, например Google DeepMind, закрыты, а публичные инструменты не подходят для сложных задач.  

XLand-MiniGrid устраняет эти барьеры. Она позволяет моделировать задачи разной сложности, менять условия в реальном времени и использовать готовые датасеты, что упрощает разработку новых алгоритмов.  

Технические особенности

Среду построили на базе JAX — технологии, способной выполнять миллиарды операций в секунду. За счет высокой производительности XLand-MiniGrid собрала более 100 миллиардов примеров поведения ИИ, охватывающих 30 тысяч различных задач. Это позволяет исключить этапы начального обучения, оптимизируя ресурсы и время исследований.  

Мнение разработчиков

«Когда мы начали работать в этой области, ни одна существующая платформа не подходила для тестирования наших идей. Это стало серьезной проблемой не только для нас, но и для других исследователей. XLand-MiniGrid появился, чтобы закрыть этот пробел», — пояснил Вячеслав Синий из T-Bank AI Research.  

Руководитель группы «Адаптивные агенты» Владислав Куренков добавил, что благодаря разнообразию задач в XLand-MiniGrid можно собирать обширные датасеты и обучать алгоритмы без необходимости начинать с нуля.  

Эксперименты в XLand-MiniGrid уже провели исследователи из Google DeepMind, Калифорнийского университета в Беркли и Оксфордского университета. Научная статья XLand-MiniGrid: Scalable Meta-Reinforcement Learning Environments in JAX, описывающая создание среды, была принята на крупнейшую международную конференцию в области искусственного интеллекта — NeurIPS 2024. В этом году конференция пройдет с 10 по 15 декабря в Ванкувере, Канада.

Читать далее:

Сверхзвуковой самолет побил рекорд: всего 3,5 часа полета из Лондона в Нью-Йорк

Анализ 11 млрд лет эволюции Вселенной подтвердил, что Эйнштейн был прав

Ученые нашли новый идеал женской фигуры: дело не в 90-60-90

^{Обложка: AI | freepik}

The post Российские ученые создали платформу для контекстного обучения с подкреплением   appeared first on Хайтек.