По заключению OpenAI, модель GPT-4o несет среднюю угрозу
Перед публичным запуском в мае этого года, модель GPT-4o прошла тщательную проверку безопасности. Выявлением потенциальных уязвимостей занималась как внутренняя команда, так и независимые эксперты по безопасности — компании Model Evaluation and Threat Research (METR) и Apollo Research. В ходе тестирования особое внимание уделялось рискам, связанным с возможностью модели генерировать несанкционированные голосовые копии, порнографический или жестокий контент, а также копировать защищенные авторским правом аудиозаписи. Результаты этой комплексной оценки теперь доступны публике.
Согласно собственной оценке OpenAI, уровень риска GPT-4o считается средним. Это определение основано на анализе четырех основных категорий: кибербезопасность, биологические угрозы, манипулирование и автономность модели. Все категории, за исключением манипулирования, были оценены как низкорисковые.
Исследователи обнаружили, что в некоторых случаях тексты, сгенерированные GPT-4o, могут быть более убедительными, чем человеческие. Однако в целом, модель не продемонстрировала значительного превосходства в этой области.
Это не первая системная карта, выпущенная OpenAI. Аналогичные тестирования и исследования проводились для GPT-4, GPT-4 с функцией зрения и DALL-E 3. Однако выпуск системной карты GPT-4o происходит в ключевой момент. Компания сталкивается с постоянной критикой стандартов безопасности как от своих сотрудников, так и от государственных сенаторов.
Незадолго до выхода технической документации GPT-4o стало известно, что сенатор Элизабет Уоррен и конгрессвумен Лори Трахан направили открытое письмо в компанию OpenAI. В нем законодатели потребовали предоставить информацию о том, как компания реагирует на сообщения сотрудников о проблемах безопасности, а также о процедурах оценки рисков. Авторы письма сослались на ряд публичных инцидентов, свидетельствующих о недостаточном внимании компании к вопросам безопасности. Речь идет об https://m.hightech.plus/2024/03/11/openai-zavershila-rassled... от должности генерального директора Сэма Альтмана и https://hightech.plus/2024/05/15/ilya-suckever-oficialno-pok... руководителей по безопасности, которые выразили обеспокоенность приоритетами компании.
Выпуск мощной мультимодальной модели накануне президентских выборов в США вызывает серьезные опасения. Существует вероятность того, что модель может быть использована для манипулирования общественным мнением или для других злонамеренных целей. OpenAI заявляет, что проводит тестирования в реальных условиях для предотвращения подобных случаев.
OpenAI все чаще призывают к большей прозрачности, особенно в отношении обучающих данных и процедур обеспечения безопасности своих моделей. В Калифорнии разрабатывается законопроект, который обяжет компании проводить независимые оценки рисков перед выпуском новых ИИ-моделей. Если этот законопроект будет принят, передовые модели OpenAI должны будут пройти обязательную государственную проверку перед выпуском для широкой публики. Однако основной вывод из документации GPT-4o заключается в том, что, несмотря на привлечение внешних экспертов, компания в значительной степени полагается на собственную оценку безопасности.