В России создали «бенчмарк» для оценки нейросетей

Почти как AnTuTu, но не для смартфонов, а для ИИ.

В России разработали первую независимую платформу для оценки качества больших языковых моделей. Она называется LLM Arena. Ее создателем стал Роман Куцин, который взаимодействовал с экс-разработчиками TrainingData.ru, где он был техническим директором, и экспертами по ИИ-моделям.

С помощью бенчмарка можно тестировать нейросети, которые работают на русском языке. Большие языковые модели оценивают на основе пользовательских задач. Все желающие могут сравнивать ответы в зависимости от запросов. Работает LLM Arena следующим образом. Пользователю для сравнения дают две случайные модели, при этом ему не показывают информацию о том, кто их разработал. Затем можно написать любой запрос и выбрать ответ, который покажется лучшим по любой причине. Помимо этого, есть возможность отметить, что ответы оказались похожими или не соответствующими задаче.

Пока что пользователи LLM Arena могут протестировать 21 нейросеть. На платформу добавили самые популярные варианты. Например, там есть зарубежная большая языковая модель ChatGPT, а а также российские YandexGPT и GigaChat. В дальнейшем список ИИ-моделей расширится. При этом сами разработчики также смогут их добавить. Бенчмарк разработали по открытой лицензии, он работает по принципу популярного рейтинга LMSYS Chatbot Arena.

Как отметили создатели платформы, их задача — сделать объективный и актуальный рейтинг генеративных нейросетей на русском языке. По их словам, уже есть немало способов сравнивать модели, но сложно протестировать их на родном языке и настоящих пользовательских задачах. Авторы LLM Arena отметили, что скоро добавят в сервис возможность оценивать качество ответов в зависимости от категории запроса, в том числе по написанию кода. А в дальнейшем пользователи смогут сравнивать определение содержимого на изображениях и генерацию видео по тексту.