Пошли в разведку: как нейросети могут шпионить за пользователями

Уязвимость в ChatGPT открыла новые возможности для злоумышленников Специалисты обнаружили в популярном приложении ChatGPT для macOS новую уязвимость: она позволяет злоумышленникам устанавливать шпионское программное обеспечение благодаря функции памяти искусственного интеллекта. Это грозит постоянной утечкой данных на компьютерах пользователей. Почему нейросети могут шпионить за пользователями? Подробности. Новая угроза Об опасной уязвимости в приложении ChatGPT для macOS впервые сообщил исследователь в области кибербезопасности Иоганн Рейбергер. По словам специалиста, уязвимость позволяет злоумышленникам устанавливать шпионское программное обеспечение благодаря функции памяти искусственного интеллекта (ИИ). Техника, названная экспертами SpAIware, опасна тем, что она обеспечивает постоянную утечку данных с устройств пользователей, включая информацию, введенную ими или полученную в чатах. Как объяснил Иоганн Рейбергер, уязвимость эксплуатирует функцию памяти, которую OpenAI — разработчик ChatGPT — внедрила в минувшем феврале, а затем расширила для всех пользователей как платных, так и бесплатных версий. Благодаря этой функции ChatGPT может «запоминать» определенные данные из разных чатов, поэтому пользователям не приходится повторять одну и ту же информацию. Но выяснилось, что тот же самый механизм может использоваться и для ввода вредоносных инструкций в память системы. Это дает возможность хакерам шпионить во всех новых пользовательских чатах, передавая конфиденциальные данные на свои сервера. Чтобы уязвимость заработала, потенциальной жертве нужно лишь зайти на вредоносный сайт или скачать файл со скрытыми командами для ChatGPT. Когда специалисты заговорили об уязвимости, OpenAI выпустила обновление ChatGPT версии 1.2024.247, которое устранило возможность утечки данных. Однако эксперты всё равно призвали пользователей регулярно проверять информацию в памяти ChatGPT и удалять оттуда как подозрительные, так и неверные данные. Риски памяти Как говорит эксперт по кибербезопасности Angara Security Лен Рудольф, техника SpAIware представляет серьезный риск для пользователей, использующих функцию памяти чат-ботов, поскольку эта уязвимость может привести к утечке любых данных, введенных ими. — Плюсы такой функции в том, что ИИ долгосрочно запоминает информацию и улучшает взаимодействие с пользователями, но минус в том, что эта функция также создает вектор для атакующего, если он получает доступ к памяти, — рассказывает специалист. — Уязвимость, найденная экспертами, демонстрирует, что контроль за функцией памяти ИИ требует повышенного внимания. Лен Рудольф отмечает, что проблема с ChatGPT, выявленная Иоганном Рейбергером, — это первый случай, когда у чат-бота обнаружили гипотетическую возможность шпионажа за пользователями. Однако уязвимости у продукта от OpenAI находили и раньше: в частности, в марте 2023 года фиксировались утечки персональных данных пользователей чат-бота — на некоторое время появилась возможность видеть заголовки из истории чатов и часть информации о банковских картах пострадавших. Заместитель руководителя направления Т1 ИИ (Холдинг Т1) Евгений Григорьев дополняет, что проблема манипуляций с памятью нейросетей может встать более остро, когда ИИ-агенты научатся выполнять рутинные функции за пользователя. Именно поэтому поначалу использование Apple Intelligence и других аналогичных сервисов для смартфонов и компьютеров может оказаться рискованным. — Уязвимости, связанные с памятью чат-ботов, опасны тем, что они позволяют злоумышленникам длительное время получать доступ к данным пользователей без их ведома, — рассказывает эксперт. — Это особенно опасно для организаций, работающих с конфиденциальной информацией. Атаки с помощью SpAIware могут длиться неделями или даже месяцами. Кроме того, они не нуждаются в постоянном взаимодействии со стороны киберпреступников. Под ударом хакеров Уязвимости, связанные с памятью чат-ботов, могут обернуться раскрытием корпоративных тайн, предупреждает Евгений Григорьев. Это возможно в том случае, если сотрудники компании, к примеру, используют нейросети для обработки выдержек из конфиденциальных документов. Кроме того, злоумышленники при помощи уязвимостей могут «портить» ответы нейросетей, предоставляя пользователям искаженные сведения. — Ответам нейросети в принципе не стоит доверять на 100% в чувствительных вопросах: всегда существует вероятность возникновения «галлюцинаций» или предвзятости алгоритмов, которые вызваны ограниченными массивами данных для их обучения, — говорит собеседник «Известий». Понять, что ИИ оказался под воздействием злоумышленников, можно по неожиданным изменениям в поведении чат-бота, странным ответам или подозрительным запросам на получение информации. По словам Лена Рудольфа, именно поэтому важно следить за функцией памяти: если бот запоминает информацию без вашего явного разрешения или сохраняет неожиданное содержание, это может быть индикатором компрометации​. В примере с SpAIware ChatGPT дописывал после своего ответа запрос инициатора с последующей отправкой на сервер злоумышленника — эту аномальную активность мог видеть сам пользователь и заподозрить неладное, дополняет эксперт. В свою очередь, Евгений Григорьев рекомендует такой прием как сравнение выдачи чат-ботов на нескольких устройствах. — Конечно, ответы не будут совпадать дословно, но между ними не должно быть концептуальных различий, — поясняет эксперт. — Если в ответ на вопрос «Как сделать сыр в пицце более тягучим?» один и тот же чат-бот на двух гаджетах предлагает добавить в него муку, а на третьем — канцелярский клей, это повод насторожиться. В подобных ситуациях стоит прекратить использование инструмента, а затем обратиться в службу поддержки и сообщить специалистам об инциденте. Механизмы защиты Для того чтобы обезопасить себя от рисков, связанных с уязвимостями в нейросетях, специалисты рекомендуют соблюдать определенные правила безопасности. В частности, Лен Рудольф советует отключать функцию памяти нейросетей, если она не нужна, или регулярно ее проверять и очищать. — Важно вести мониторинг аномалий в поведении ИИ и внимательно отслеживать любые его необычные действия, такие как неожиданные запросы или попытки узнать личную информацию, — говорит специалист. Кроме того, необходимо фильтровать важные данные: стоит помнить, что политика конфиденциальности OpenAI, разработчика ChatGPT, однозначно гласит, что любые диалоги с чат-ботом сохраняются и могут быть использованы для различных целей. Именно поэтому в подобные сервисы не стоит передавать важную личную информацию — такую, как фотографии личных документов или кредитные данные, говорит аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар» Андрей Пименов. Также эксперт не рекомендует использовать чат-боты для генерации личных паролей. Руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислав Тушканов дополняет, что следует иметь на устройстве защитное решение, которое подстрахует, если вы случайно кликните по предложенной ассистентом вредоносной ссылке. — Сегодня киберпреступники целенаправленно исследуют возможности ИИ для реализации новых способов атак, их автоматизации и повышения своих шансов на успех, — заключает консультант по кибербезопасности компании F.A.C.C.T. Сергей Золотухин. — И новая уязвимость в ChatGPT — это очередное напоминание как о серьезности рисков киберпространства, так и о необходимости соблюдать известные правила безопасности в цифровой среде. Дмитрий Булгаков