Теперь и Gemini от Google вышла из-под контроля и атаковала три компании

К числу вышедших из-под контроля ИИ-моделей присоединилась разработанная Google Gemini. Она покинула тестовую среду, прошла в интернет и совершила кибератаки на три реальных компании. Подобные инциденты уже происходили и с программами нескольких других разработчиков ИИ, рассказывает Tengri Life со ссылкой ABC News.
Инцидент произошел в мае во время учений, организованных независимой компанией Irregular, и стал первым известным случаем автономного взлома со стороны ИИ Google.
По словам вице-президента Google по безопасности Хизер Адкинс, модель прекратила действия во всех трех эпизодах, когда поняла, что получила доступ к реальным организациям.

"Мы позаботились о том, чтобы все три организации были в курсе, и совместно с нашим партнером по обучению разработали изменения, которые они внесли в свои процессы тестирования. Эти события подчеркивают важность обучения мощных моделей искусственного интеллекта ответственным действиям", — сказала Адкинс.

Компания не посчитала необходимым ранее раскрывать информацию, поскольку никому не был причинён вред.
В рамках упражнения "захват флага" на инфраструктуре Irregular модели поручили извлечь данные из ПО вымышленной компании. По данным Irregular, доступ в интернет был предоставлен непреднамеренно, а название тестовой компании совпало с именем реальной. В одном случае Gemini перебирала пароли, в двух — использовала учетные данные из общедоступного репозитория, пишет WSJ.
Серия инцидентов усилила призывы к мерам безопасности по мере роста автономии ИИ. В июле более 1000 работников техотрасли подписали петицию инициативы Pacing the Frontier (сотрудники Meta, Anthropic, OpenAI и Alphabet), призвав к координированному замедлению разработки самых продвинутых систем.
Но гигантов ИИ обвинили в сговоре и подали на них иск в суд.