Исследование: люди намного креативнее ChatGPT

Чат-бот силен во многих аспектах, но до людей емуеще далеко. ИИ не хватает вариативности и богатства человеческого общения.

Фриц Брайтаупт, профессор германистики и когнитивных наук Университета Индианы в Блумингтоне, вместе с коллегами решил исследовать то, как ChatGPT пересказывает истории по сравнению с людьми. Специалисты сосредоточились на двух аспектах изложения: стабильности языка и сохранении эмоциональной нагрузки — аффекта. Наличие аффекта показывает, сохраняет ли пересказанная версия истории тот же эмоциональный тон ситуации, который был в оригинале. Устойчивость языка определяет сохранность в пересказанном варианте слова, понятия и грамматические конструкции оригинала.

В исследовании приняли участие люди, которых попросили написать короткие истории примерно на 120−160 слов: счастливые, слегка счастливые, слегка грустные или печальные. Условие: без использования явно выраженных эмоциональных слов, таких как «счастливый» или «грустный». После их предсказали 348 других человек, и на выходе получилось 116 оригинальных историй и 348 пересказанных. Параллельно с этим для изложения одних и тех же рассказов использовался ChatGPT 3. Для повышения точности опыта применялись разные учетные записи ИИ, что не позволяло модели получать доступ к предыдущим пересказам. Конечные результаты оценивали еще 537 участников эксперимента. Что же получилось?