Искусственный интеллект справился с «Тотальным диктантом» на ура: разработчики такого не ожидали
Двадцатого апреля в акции «Тотальный диактант» на площадке Новосибирского государственного университета (НГУ) принял участие искусственный интеллект. За свою работу от проверяющих он получил оценку между «тройкой» и «четвёркой». Такой результат, как заявили разработчики, превзошёл их ожидания.
«Впервые искусственный интеллект соревновался в грамотности с человеческим в рамках задачи диктанта, и создатель «Писца» (системы ИИ) предполагал, что положительной оценки тот не получит — скорее всего, система допустит минимум орфографических ошибок, однако с расставлением знаков препинания вряд ли справится. Был сделан вывод: в тех местах, где «Писец» все слова услышал верно, он написал диктант хорошо — на границе между тройкой и четверкой. Такого результата его разработчики не ожидали», — рассказали разработчики.
Система «Писец» оказалась достаточно «умной», когда речь заходит о грамматике, а вот ошибки были допущены в тех словах, которые искусственным интеллектом были услышаны неверно. Использование ИИ в «Тотальном диктанте» позволило разработчикам получить детализированную информацию о разнообразии совершаемых нейронной сетью ошибок и неточностей. Это необходимо для дальнейшего совершенствование системы.
Старший преподаватель кафедры источниковедения литературы и древних языков Гуманитарного института НГУ Людмила Буднева, которая проверяла работу, сданную «Писцом», отметила, из 276 слов искусственный интеллект пропустил шесть, пять из которых стояли в конце предложения, причем в этих случаях он не ставил точку, но следующее предложение начинал с заглавной буквы. Также она рассказала о неверно услышанных словах. Так, например, вместо «наивысшего» система написала «наявившего», а вместо выражения «Читай — не хочу» — «Считай, не хотите». Обнаружены проблемы и с написанием окончаний — «синями» вместо «синими» или «портрет … гимназистке» вместо «портрет … гимназистки».
«Изначально он разрабатывался год назад для автоматического стенографирования звукозаписей интервью или защит диссертаций. Соответственно, даже 20-30% ошибок в расшифрованных текстах — это уже тот уровень, который позволяет человеку гораздо быстрее подготовить чистовой текст стенограммы, чем если бы он писал его «с нуля», прослушивая запись полностью самостоятельно. Но для диктанта 20% ошибок — это неприемлемо, это двойка. Поэтому в последнюю неделю перед «Тотальным диктантом» мы занимались адаптацией «Писца» к специфике диктанта, а также вносили в него принципиальные улучшения, основанные на результатах наших исследований за последний год». — пояснил один из авторов проекта.