В России создали систему оценки русскоязычных ИИ-ассистентов

Специалисты MWS AI, входящей в МТС Web Services, разработали универсальную методику для всесторонней оценки работы русскоязычных генеративных систем искусственного интеллекта (ИИ). Основное внимание уделяется точности извлечения данных и минимизации ошибок, так называемых галлюцинаций нейросетей.

Существующие тесты часто устаревают или не соответствуют реальным базам знаний компаний. Новый подход автоматизирует подготовку актуальных проверок. Система анализирует свежие новостные ленты, строит из них «карту знаний» и формирует многоуровневые логические задачи, которых нет в обучающих архивах. Это позволяет объективно оценить способность ИИ-ассистентов сопоставлять факты, отметили в пресс-службе компании.

На основе новой методологии уже создан первый публичный рейтинг русскоязычных ИИ-помощников. Разработка поможет корпорациям быстро проверять качество собственных систем и сравнивать их с существующими решениями. Методика адаптируется под любые сценарии — от научных публикаций до анализа судебных документов.

Разработка будет представлена на международной конференции EACL 2026 в Марокко.