ИИ умный, но не настолько: модели не справились с настоящими научными задачами

Математики провели эксперимент, чтобы проверить, насколько хорошо современные ИИ-модели умеют решать «настоящие научные задачи», а не только упражнения из учебников. Если кратко, то пока ИИ всё ещё значительно уступает людям.

В отличие от предыдущих тестов, где использовались известные задачи, в новом исследовании были предложены оригинальные вопросы из текущих научных исследований. Эти задания ранее нигде не публиковались.

Каждый участвующий математик подготовил свою задачу и заранее сам её решил, чтобы убедиться, что она выполнима. Всего было десять заданий из разных областей, включая теорию графов, геометрию и другие направления. Ответы были зашифрованы.

Задачи протестировали на нескольких ведущих системах, которым давали только одну попытку без подсказок и дополнительных объяснений. Было важно проверить способность ИИ находить решение, когда условия уже понятны, но ответ ещё неизвестен.

Результаты показали, что модели «хорошо справляются с типовыми задачами и анализом данных», но «испытывают трудности, когда требуется творческий подход и математическая интуиция».

Исследователи планируют опубликовать ответы и подготовить новый набор заданий.