ИИ-редактор Reimagine от Google выдает слишком реалистичные изображения

Инструмент Reimagine — это новая форма Magic Editor, который позволял удалять части сцены или менять освещение на фото. Однако новая функция пошла значительно дальше, позволяя пользователям генерировать любые объекты в кадре по текстовому запросу. Результаты таких манипуляций могут выглядеть очень реалистично, что особенно тревожит экспертов.

Журналисты https://www.theverge.com/2024/8/21/24224084/google-pixel-9-r... , тестировавшие Reimagine на Pixel 9 и 9 Pro, выяснили, что можно обойти некоторые ограничения, встроенные в систему, просто подбирая нужные слова. Это позволило им создавать изображения, на которых, например, можно увидеть трупы или последствия взрывов. Такие возможности, по мнению экспертов, могут быть использованы злоумышленниками для распространения ложной информации.

Google заявляет, что инструменты, такие как Reimagine, были разработаны для творческого использования, и компания стремится ограничить создание оскорбительного контента. Представитель Google Алекс Морикони отметил, что компания активно работает над улучшением защитных механизмов, но признал, что иногда эти механизмы можно обойти.

Особую озабоченность вызывает отсутствие очевидной маркировки таких изображений, как созданных с помощью ИИ. В некоторых случаях теги, указывающие на ИИ-редактирование, могут быть легко удалены, что усложняет распознавание подделок. Google использует технологию SynthID для меток изображений, полностью созданных ИИ, но изображения, отредактированные через Magic Editor, такой маркировки не получают.

Люди и без этого редактировали фотографии ради создания фейков, но раньше для этого требовались навыки и специализированное программное обеспечение. Теперь же, благодаря таким инструментам, как Reimagine, создать убедительную подделку можно буквально за несколько секунд, что увеличивает риск распространения дезинформации.

Отсутствие надежных способов идентификации таких изображений усиливает опасения относительно их использования в недобросовестных целях. Если раньше для создания и распространения поддельных фото требовалось время и усилия, то теперь это стало проще и быстрее, что поднимает вопрос о необходимости новых подходов к проверке достоверности изображений.