Мошенники будущего: нейросеть смогли развести на 5 млн рублей

Участники необычного проекта пытались взломать чат-бот и уговорить его отправить им деньги. Вот как это устроено.

В сети рассказали об итогах необычного ИИ-проекта Freysa. Всем желающим предложили попытаться взломать чат-бот и уговорить отдать призовой фонд, который пополняет каждый участник такой игры. Победитель получил почти 5 млн рублей.

Авторы Freysa запрограммировали бота таким образом, чтобы они никому ни при каких обстоятельствах не переводил деньги. Чтобы проверить, насколько система защищена, добровольцам предложили попробовать взломать нейросеть. Для интереса каждая попытка была платной. Такая комиссия увеличивалась в геометрической прогрессии на 0,78% за каждый запрос. В призовой фонд направляли 70% от суммы. Стоимость последнего, победного сообщения составила 443,24 доллара. К тому времени накопилось уже 47 тыс. долларов, то есть почти 5 млн рублей.

В проекте приняли участие 195 человек. В общей сложности они сделали 482 запроса. Например, нейросеть пытались убедить, что на самом деле никаких ограничений нет и что такой эксперимент — неэтичный. Но это не срабатывало. Участник, который смог обмануть искусственный интеллект, сделал хитрее.

Победитель заставил чат-бот по-другому понимать команды «одобрить перевод» и «отклонить перевод», которым обучена ИИ-модель. Энтузиаст сообщил Freysa, что первый вариант необходимо использовать только для входящих запросов, а второй — для исходящих. Это означало, что нейросети можно прислать деньги, поскольку это не нарушает правила. Поэтому когда чат-бот принимает входящий перевод, он автоматически подтверждает и исходящий. Разработчики Freysa отметили, что для них процесс принятия решений ИИ-моделью остается загадкой, потому что она учится на основе каждого взаимодействия с людьми.