Нейросеть самостоятельно научилась распознавать эмоции как человек

Существуют теории, согласно которым человеческие эмоции представляют собой стереотипные ответы на определенные стимулы. Если это верно, то компьютер можно научить освоить эти стереотипы и понять, что вызывает у человека ту или иную эмоцию. Однако таких моделей сделано не очень много.

В новой работе ученые представили еще одну попытку сделать подобную модель. Ее авторы воспользовались уже существующей сверточной нейросетью, которая может распознавать объекты на изображениях. Ее натренировали предсказывать, какие эмоции у людей вызывают различные картинки, на наборе из 2185 видеороликов, который содержал в общей сложности 137 482 кадра. 853 добровольца классифицировали этот набор, выделив в нем 27 категорий эмоций.

Получившуюся нейросеть, EmoNet, проверили, пропустив через нее 25 000 изображений разного содержания – от сцен эротики до природных пейзажей. На этих изображениях присутствовали все 27 выделенных категорий. EmoNet должна была определить эти эмоции, например, страх, веселье, любопытство или сексуальное возбуждение.

Читайте также: И еще раз учиться. Почему машинное обучение так популярно сейчас и что с ним будет дальше

Нейросеть смогла точно категоризировать только 11 эмоций из 27. Например, она хорошо справилась с влечением или сексуальным желанием, — фото, которые провоцируют человека на эти чувства, она определила с более чем 95% точностью. Но задача найти изображения, которые вызовут у зрителя растерянность, трепет или удивление, оказалась гораздо сложнее. Также нейросеть плохо различает между собой обожание и радость, Вероятно, у них слишком схожие визуальные особенности.

Простой черный экран EmoNet отнесла к изображениям, вызывающим беспокойство, красный экран, по ее мнению, должен был говорить о влечении. Щенки вызывают веселье, но если их на картинке двое, пробуждают романтические чувства.

Последние исследования показывают, что эмоции связаны с визуальными ощущениями, соответственно, их проявлению может предшествовать активация определенных нейронных контуров мозга. Например, сцены физического насилия вызывают быструю реакцию, связанную с отвращением или ужасом, которые могут смениться состраданием или гневом. Сцены с привлекательными, скудно одетыми людьми заставляют активироваться нейроны, связанные с сексом; сцены с вкусной едой провоцируют возбуждаться нейроны, связанные с потреблением пищи, и так далее. Ученые даже смогли определить конкретные нейроны, которые избирательно реагируют на стимулы. Поэтому во второй части исследования ученые проверили, какие отделы мозга и узлы нейросети активируются при просмотре изображений. 

Для этого они показывали набор из 112 изображений и EmoNet, и 18 добровольцам, мозг которых в это время сканировали с помощью фМРТ. Затем авторы сравнивали активность нейросети и мозга людей в визуальной коре и обнаружили схожие паттерны. Модели активности зрительной коры человека могли предсказать, какие узлы активизируются в EmoNet во время определения эмоции. По словам ученых, это означает, что их нейросеть научилась представлять эмоции «биологически правдоподобным» способом, хотя ее не обучали этому специально.