IT-эксперт Кадыров: нейросети могут создавать иллюзию достоверности

На прошлой неделе профессор права Джонатан Терли столкнулся с поразительной ситуацией: нейросеть ChatGPT включила его имя в список юристов, якобы замешанных в крайне щепетильной и незаконной истории. При этом, как утверждал бот, такие данные были взяты из несуществующей статьи в The Washington Post. Хотя такие обвинения были совершенно ложными, эта ситуация подчеркивает важные вопросы, связанные с использованием нейросетей и ответственностью за распространение дезинформации, рассказал "Газете.Ru" Родион Кадыров, директор по продукту FABULA AI.

"Этот инцидент — не просто единичный случай. Это пример того, как современные языковые модели, такие как ChatGPT от OpenAI, могут генерировать ложные сведения, которые ставят под угрозу репутацию и даже жизни людей. Особенно тревожно то, что такие "галлюцинации" нейросетей являются нормальным явлением и возникают из-за особенностей их работы", — объяснил он.

По словам Кадырова, такие "галлюцинации" у нейросетей возникают, когда модели ИИ, стремясь дать ответ на любой запрос, начинают "придумывать" данные. Это происходит тогда, когда запрос требует определенного количества информации, а у нейросети недостаточно точных данных для его выполнения.

"Например, если попросить нейросеть назвать 10 имен, связанных с каким-то событием, она может выдумать семь экспертов, даже если на самом деле "знает" только трех", — подчеркнул эксперт.

Такие ошибки происходят по нескольким причинам.

"Обучение на объемных, но не всегда достоверных данных — нейросети обучаются на миллионах текстов, собранных из интернета, где могут встречаться и правдивые, и ложные сведения. В результате они могут генерировать информацию, основанную на этих ошибочных данных. Также, предсказательная природа ИИ — модели ИИ работают на основе предсказания вероятных последовательностей слов. Если нейросети не хватает данных для создания корректного ответа, она может домыслить недостающую информацию, чтобы сформировать правдоподобный текст. Отсутствие встроенной проверки фактов — нейросети не имеют механизма для проверки достоверности созданного текста. Они могут ссылаться на несуществующие статьи, события или людей, создавая иллюзию достоверности", — рассказал специалист.

Проблема дезинформации, генерируемой ИИ, не ограничивается текстом. В марте 2023 года широко обсуждались изображения, якобы показывающие арест бывшего президента США Дональда Трампа. Эти фейковые фотографии были созданы с помощью ИИ и стали вирусными в социальных сетях, хотя события, изображенные на них, никогда не происходили.

"Эти изображения были частью шутки, но многие восприняли их всерьез, что создало путаницу в новостной среде и продемонстрировало разрушительный потенциал технологий ИИ. Это также подчеркнуло отсутствие эффективных мер контроля со стороны платформ социальных сетей, а также необходимость более жестких стандартов и правил для использования ИИ в таких чувствительных сферах", — добавил Кадыров.

Ответственность за проверку информации, сгенерированной нейросетями, всегда лежит на пользователе. Любые упоминания людей, документов или событий, предложенные ИИ, должны быть перепроверены с помощью надежных источников. Это особенно важно в тех случаях, когда такие данные могут повлиять на репутацию человека.

Однако в случаях, когда ложные данные становятся частью общественного дискурса, особенно в медиа или публичных источниках, необходимы меры государственного регулирования.

"Возможные шаги, в частности, включают маркировку информации: все данные, сгенерированные нейросетями, должны быть четко помечены, чтобы пользователи знали, что они получены с помощью ИИ. Это позволит подходить к такой информации с большей осторожностью. Также, ответственность за использование ненадежных источников: люди или организации, распространяющие непроверенную информацию от нейросетей, должны нести такую же ответственность, как и за использование любых других ненадежных источников. Наконец, необходимо разработать правовые меры, которые бы регулировали использование нейросетей в тех случаях, когда от этого может пострадать репутация людей. Это поможет предотвратить распространение дезинформации и защитить граждан от необоснованных обвинений", — предположил он.

Как подчеркнул эксперт, инциденты, подобные случаю с Джонатаном Терли и фейковыми изображениями ареста Дональда Трампа, подчеркивают важность ответственного использования технологий ИИ. Нейросети могут быть мощным инструментом, но их ошибки могут иметь серьезные последствия. Поэтому важно не только осознавать риски, связанные с использованием ИИ.