Исследователи доказали, что «замена Google» от ChatGPT дает неправильные ответы

Поисковик ChatGPT, запущенный OpenAI в октябре, не всегда предоставляет точную информацию, утверждают исследователи из Колумбийского центра цифровой журналистики Tow Center for Digital Journalism. Инструмент рекламировался как способ предоставления «быстрых и своевременных ответов со ссылками на соответствующие веб-источники», однако тестирование показало, что он часто выдает неверные или вводящие в заблуждение результаты.

Исследователи проверили способность ChatGPT определять источники для 200 цитат из 20 публикаций. Из них 40 были получены от издательств, которые, к слову, блокируют доступ к инструментам OpenAI. ChatGPT по-прежнему давал уверенные, но неверные ответы на многие из них.

В целом чатбот дал частично или полностью неверные ответы 153 раза и лишь в 7 случаях признал свою неуверенность. Например, он неверно отнес цитату из письма редактора газеты Orlando Sentinel к журналу Time и сослался на скопированную статью вместо оригинальной статьи New York Times.

OpenAI заявила, что «тест не является репрезентативным для типичного использования», и пообещала повысить точность поиска.