«Темная сторона» нейросетей: от «умного» фишинга до дронов-террористов

ИИ дает злоумышленникам новые инструменты обмана и совершенствует существующие — например, социальную инженерию. Какой потенциал нейросетей способны применить преступники и как от них защититься бизнесу?

Об эксперте: Валерий Сидоренко, генеральный директор digital-агентства «Интериум», член Общественного совета при Минцифре России.

Искусственный интеллект, глубинное и машинное обучение меняют не только интернет, но и преступный мир. Наибольшие опасения вызывает применение нейросетей и ботов для персонализации фишинг-атак, корпоративного шпионажа и манипуляций через фейковый контент. Поэтому бизнесу предстоит пересмотреть политики безопасности, уделив внимание тренингам персонала и цифровому репутационному менеджменту.

3 мая 2022 года Европарламент принял доклад, увенчавший 1,5 года работы экспертов. Документ подытожил дискуссию вокруг общеевропейского закона об искусственном интеллекте EU Artificial Intelligence Act (AIA), который планируют подписать в начале 2023 года. Однако горячие споры вокруг AIA на этом не улеглись.

Один из главных камней преткновения в обсуждении этого закона — спор о допустимости применения ИИ для расследования преступлений. Еще в ноябре 2021 года десятки правозащитных организаций призвали Европарламент запретить использовать ИИ для профилактики правонарушений: эксперты опасаются, что злоупотребление функциями предиктивных систем приведет к тотальной слежке и нарушит право на частную жизнь. При этом еще в январе Европарламент проголосовал за поправки в Digital Services Act (масштабный законопроект о цифровых услугах, модернизировавший цифровое право ЕС), запретив использовать чувствительные личные данные вроде расы и религии для настройки рекламных алгоритмов. Поэтому вероятность того, что депутаты прислушаются к правозащитникам, ненулевая.

Но пока законодатели крутят руки «нейродетективам», вольготно орудуют «нейропреступники» и хакеры: в мае в США из-за кибератаки закрылось первое учебное заведение — Линкольн-колледж, основанный в 1865 году. Колледж, чей бюджет ранее потрепала пандемия, полностью парализовала атака вируса, удалившего ключевые библиотеки с данными. Поэтому вопрос о том, какие преступления подарит миру эволюция ИИ (и как от них защититься), встает все острее.

«Темная сторона» машинного обучения обсуждается с самой зари этой технологии. Но прогресс ускоряется: еще в октябре 2016 года New York Times, предостерегая о всплеске «ИИ-преступлений» и потенциале ИИ по завоеванию доверия жертв, предсказала переход мошенников на дипфейки. Шесть лет спустя все больше прогнозов начинает сбываться — и всё больше ученых обращают на проблему свое внимание.

Так, в 2018 году группа из 26 экспертов Йеля, Оксфорда, Кембриджа и представителей научных и бизнес-кругов выпустила 100-страничный доклад «Вредоносное использование искусственного интеллекта: прогнозирование, предотвращение и смягчение последствий» (The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation), где суммировала главные отрасли, уязвимые для «ИИ-преступлений». Эту тему год спустя развила группа экспертов из университетов Оксфорда и Тьюринга в обзоре «Преступность с использованием искусственного интеллекта: междисциплинарный анализ прогнозируемых угроз и решений» (Artificial Intelligence Crime: an Interdisciplinary Analysis of Foreseeable Threats and Solutions). Наконец, категоризации конкретные правонарушения подвергли в докладе «Преступления будущего с использованием искусственного интеллекта» (AI-enabled future crime): специалисты выделили 20 видов преступлений, шесть из которых отнесли к наиболее угрожающим.

В этой статье мы не будем погружаться в сложные технические детали и потому не затронем манипуляции с финансовым рынком, DDoS-атаки, использование одного ИИ для взлома другого и так далее. Вместо этого поговорим о наиболее чувствительных с точки зрения потерь угрозах: ИИ-аналитиках (персонализации фишинга), ИИ-имитаторах (фейк-контенте) и некоторых других. А также о том, как к новым угрозам готовиться уже сегодня.

Подобные методики — «черные» и «белые» — разрабатывает целая отрасль, известная как социальная инженерия. Искусственный интеллект дал ей мощное оружие, ведь он способен проанализировать огромные массивы данных о компании и конкретном сотруднике, так сымитировав слог приятеля или официальное письмо, что на него кликнут без сомнений. Эксперты единогласно ставят «персонализацию фишинга» на первые места среди ИИ-угроз. В 2018 году группа ИТ-специалистов из IBM Research даже представила новое ПО DeepLocker, способное помочь в настройке такого «умного» фишинга.

Количество подобных взломов множится: осенью прошлого года по сельскохозяйственному сектору США прокатилась волна схожих фишинг-атак. Одна за другой «точечный фишинг» выводил из строя системы крупных ферм и продовольственных компаний (среди них были Crystal Valley Cooperative, Ag Partners и др.), требуя выкуп, и ФБР даже выпускало по этому поводу особое предупреждение.

Но особенно остро эта проблема встанет в России. Безопасность личных данных здесь традиционно соблюдается слабо: в открытый доступ выложены терабайты клиентских баз и взломанных аккаунтов — настоящий рай для «пробивов» на любой вкус и цвет. А уход западных ИТ-компаний и прекращение поддержки иностранного ПО грозят превратить жизнь «безопасников» в настоящий кошмар.


Сфер применения подобного контента много. От кампаний по репутационному очернению, когда от имени человека или фирмы специально распространяются фейки, до автоматизации вымогательских «call-центров» на основе роботов, способных имитировать голоса друзей. Подобные чат-боты уже применяют в благих целях банки, но ИИ-революция превратит их в товар «из коробки»: любой преступник, а не только гигантская корпорация, сможет настроить такого бота на свой вкус.

Затронет эта революция и политику. Агитационные чат-боты, распространявшие пропаганду, уже применялись на выборах в западных странах, но перспектива организованных вбросов из миллионов ботов, которых невозможно отключить из единой точки, выглядит пугающе. А на фоне ответственности за фейки, вводимой в законодательства некоторых стран, может стать мощным инструментом конкурентной борьбы. Ряд западных юристов даже относят травлю, которую может организовать такая волна ботов, к разновидности пыток.


Опасения вызывают и дроны: именно ИИ стоит за их масштабными шоу, когда сотни беспилотников выстраиваются в QR-коды или рисуют фигуры в воздухе. У этого потенциала есть и обратная сторона: дроны — идеальное точечное оружие, смертоносное даже без оператора и в условиях, в которых преступнику действовать сложнее (эксперты Оксфордского университета, составившие вышеупомянутый доклад «Преступность с использованием искусственного интеллекта…», к примеру, упоминают автономные подлодки для перевозки наркотиков, применяемые наркокартелями Латинской Америки).

В 2018 году Великобританию потряс «дроновый скандал» в лондонском аэропорту Гатвик: запущенные неизвестными дроны оккупировали взлетные полосы, из-за чего более 110 тыс. пассажиров с 760 рейсов не улетели в назначенный срок, а к решению кризиса пришлось привлечь армию. Футурологи, анализирующие этот и подобные кейсы, предсказывают появление «дронов-убийц», залетающих в двигатели лайнеров или переносящих портативные взрывные устройства (тем более что эксперименты военных экспертов уже показали, что дроны технически способны совершать вооруженные атаки автономно).

Лучшая защита — это тренировка
В связи с этими угрозами бизнесу (особенно ослабленному санкциями российскому) придется пересмотреть политики безопасности. Гораздо большее внимание в них следует уделить инструктажу, постоянным тренировкам персонала и выстраиванию ИТ-защиты из спам-фильтров и таких программ, которые самостоятельно засекают опасное поведение (переход по подозрительным ссылкам, копирование служебных документов на сторонние носители и пр.), предупреждая службу безопасности.

Как никогда актуальными станут и услуги пентестеров — эти агентства предлагают компаниям «проверки на прочность», подсылая в офисы под видом случайных посетителей или стажеров своих корпоративных разведчиков. Порой топ-менеджмент заказчика даже не представляет, на что способна «случайно» оставленная на столе флешка с вирусом (которую кто-то обязательно вставит в свой компьютер из любопытства) или умелая тактика разговора с охранником, без задней мысли выдающим пропуск в зоны повышенной секретности.

И главное — в новых условиях повысится спрос на профессионалов репутационного менеджмента, способных в режиме реального времени отслеживать атаки и «вбросы», мобилизовать собственные ИИ-ресурсы и проводить контркампании. С ускорением обращения информации и все большей зависимостью выручки от репутации такие услуги перейдут из разряда приятных бонусов в разряд жизненно необходимых трат.