Клей в сырной пицце: какие риски несет в себе контент от нейросетей

Контент, сгенерированный нейросетями, может серьезно навредить здоровью — об этом предупредили эксперты. В некоторых случаях такие ошибки, допущенные, например, в книгах рецептов, способны привести к отравлениям, представляющим угрозу для жизни людей. Порой рекомендации от ИИ доходят до абсурда: пользователям советуют есть по камню в день, пристально смотреть на солнце или курить во время беременности. Подробности о том, какие риски несет в себе контент от искусственного интеллекта и как можно решить эту проблему, читайте в материале «Известий».

Опасные книги

Несмотря на впечатляющие способности нейросетей, они остаются подвержены «галлюцинациям» — феномену больших языковых моделей, когда программы выдумывают факты и уверенно их излагают, говорит в беседе с «Известиями» руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислав Тушканов.

— Некоторое время назад пользователи обнаружили, что нейросеть от Google советует добавлять клей в сырную пиццу, а чат-бот Gemini выдал рецепт чеснока в оливковом масле, следование которому может привести к отравлению ботулотоксином, — рассказывает специалист.

Также на ошибках часто ловили популярный чат-бот ChatGPT, который среди прочего сгенерировал выдуманные прецеденты в ответ на запрос адвоката из США во время подготовки судебного иска. В ходе разбирательства это вскрылось, а юриста оштрафовали на крупную сумму.

Кроме того, большим скандалом обернулась история британской семьи, которая отравилась ядовитыми грибами из-за книги, написанной при помощи ChatGPT. По словам главы семьи, о которой рассказало издание The Guardian, он ориентировался на иллюстрации и советы из книги, которую нашел на Amazon, — позже выяснилось, что та содержала много опасных ошибок. В частности, издание, созданное при помощи ChatGPT, содержало рекомендации определять ядовитые грибы по вкусу и запаху, что может привести к серьезным последствиям.

Появление на Amazon сборника от ИИ прокомментировала основатель издательства «Прондо» Елена Косма. Она отметила, что при написании текста нейросеть не думает, как человек, а анализирует огромные объемы текста из интернета. Например, программа может взять описание съедобного гриба из одного источника, а ядовитого — из другого и случайно смешать их в один текст.

Также эксперт объяснила, что Amazon не проводит детальный фактчекинг книг, которые загружают авторы. По ее мнению, вопрос доверия к площадке становится сложным.

При этом издатель отметила и пользу нейросетей в книгоиздании. Так, ИИ может генерировать большие объемы текста, предлагать идеи авторам, анализировать предпочтения аудитории и создавать уникальные иллюстрации.

На этом примеры ИИ-галлюцинаций не заканчиваются. В мае 2024 года корпорация Google представила AI Overview — функцию на основе искусственного интеллекта, которая должна была усовершенствовать поиск. Однако вскоре после запуска продукта пользователи стали жаловаться на новый продукт, который выдавал пользователям неожиданные, странные, а порой и откровенно опасные ответы.

Так, AI Overview советовала пользователям съедать как минимум один камень в день. Вероятно, эту рекомендацию нейросеть взяла с сайта агентства сатирических новостей The Onion, где ранее была опубликована шуточная новость с заголовком «Геологи рекомендуют съедать хотя бы один камешек в день». Пользователь соцсети X Джеремайа Джонсон собрал самые абсурдные утверждения AI Overview — список получился впечатляющим. Вот некоторые из них:

1. «Врачи рекомендуют беременным курить 2–3 раза в день»;
2. «Ученые говорят, что на солнце нужно смотреть от 5 до 15 минут и до 30 минут тем, у кого темная кожа»;
3. «Тренироваться восемь дней в неделю возможно»;
4. «Живущие в пенисе тараканы — это норма».

Сферы риска

Во всех сферах деятельности использование ИИ-технологий без должного контроля и модерации со стороны человека является как минимум нежелательным, а иногда и небезопасным, в том числе и для жизни и здоровья, считает ведущий эксперт по сетевым угрозам, web-разработчик компании «Код безопасности» Константин Горбунов. К примеру, студенты могут использовать ИИ для прохождения тестов, что влечет за собой снижение качества образования.

— Использование нейросетей для создания новостей может привести к распространению дезинформации, а в правовой сфере создание и интерпретация правовых документов требуют особой точности и понимания контекста, чего ИИ может не постичь, — говорит собеседник «Известий».

Ведущий специалист отдела перспективных технологий Positive Technologies Степан Кульчицкий дополняет, что особо остро проблема контента, созданного при помощи ИИ, стоит в тех сферах, где цена ошибки слишком высока. К примеру, в сфере здравоохранения и юриспруденции.

— Генеративный ИИ склонен к ошибкам, что условно можно приравнять к человеческому фактору, — подчеркивает замруководителя направления ИИ Холдинга Т1 Евгений Григорьев. — Поэтому наибольшее внимание следует уделить областям, где цена возможной ошибки максимальна при принятии неправильного решения с точки зрения финансовых, репутационных и прочих последствий. Одна из них — управление транспортными средствами при помощи автопилотов.

Механизмы защиты

По словам Владислава Тушканова, галлюцинации больших языковых моделей могут встречаться в любых областях. Поэтому важно следовать базовым правилам работы с чат-ботами: не принимать важных решений на основе их ответов, в первую очередь в чувствительных сферах, и перепроверять любую предоставляемую информацию.

— Минимизировать подобные риски помогут дублирование принятия решений человеком, диверсификация за счет коллективного решения независимыми ИИ-агентами, разработка и применение новых подходов к тестированию этих систем и инструменты выявления дипфейков, — говорит в беседе с «Известиями» Евгений Григорьев.

Необходимо всегда проверять качество источников и достоверность информации, а по важным вопросам — консультироваться с профильными специалистами, подчеркивает эксперт.

По мнению Степана Кульчицкого, большие технологические гиганты должны работать сообща с правительствами — вместе определять допустимые границы использования и применения ИИ, ответственность за их нарушение, этические стандарты, авторские права и так далее. Кроме того, немаловажной является разработка технических мер и инструментов для обнаружения сгенерированного контента, в том числе выдуманных новостей и дипфейков.

— Для того чтобы минимизировать риски, связанные с контентом от ИИ, необходимо введение законодательных мер, регулирующих использование нейросетей в критически важных сферах, а также внедрение систем верификации и маркировки контента, созданного с помощью ИИ, — подчеркивает Константин Горбунов.

Вопрос запретов

Между тем специалисты, говоря о риске контента, сгенерированного нейросетями, порой задаются вопросом, есть ли сферы человеческой деятельности, где применение ИИ должно быть либо запрещено, либо строго ограничено. По мнению Константина Горбунова, наиболее тщательный контроль или ограничение использования нейросетей должны быть в сферах, непосредственно влияющих на здоровье и благополучие людей.

— Во-первых, это правовая и юридическая сферы, где вынесение судебных решений и создание правовых документов должны оставаться в руках профильных специалистов, — говорит собеседник «Известий». — Во-вторых, это медицина, где врачебные заключения и рекомендации, сгенерированные без надлежащего контроля со стороны специалистов, могут оказаться ошибочными.

По мнению Константина Горбунова, на практике запрет на генерацию контента с помощью ИИ в определенных сферах может быть реализован с помощью введения соответствующих законов и регламентов, организации лицензирования и сертификации программного обеспечения для генерации ИИ-контента, учреждения регулирующих органов в сфере мониторинга и контроля использования ИИ, а также разработки и внедрения технических решений для обнаружения подобного контента и его маркировки.

При этом в настоящее время в Госдуме уже начали разработку закона о маркировке контента, созданного с помощью нейросетей. Впрочем, по мнению Владислава Тушканова, запрет использования технологий для генерации контента малоэффективен, так как вопрос не в самих технологиях — это лишь инструмент, а в том, как люди используют их. Поэтому, считает эксперт, куда лучше повышать цифровую грамотность пользователей и развивать критическое мышление, обучать правильно работать с нейросетями в тех сферах, где они эффективны, и не применять их там, где это может быть рискованно.

— Навык перепроверять информацию и выбирать источники, которым можно доверять, может пригодиться, не только чтобы распознать текст, потенциально написанный большой языковой моделью и содержащий галлюцинации, но и для того, чтобы снизить киберриски с точки зрения столкновения с онлайн-мошенничеством, — заключает специалист.