Запустится на домашнем ПК: вышла мощная Stable Diffusion 3 Medium для генерации картинок

Компания Stability AI представила новую языковую модель Stable Diffusion 3 Medium, которую уже назвала «самой продвинутой открытой моделью для генерации изображений». Нейросеть содержит 2 млрд параметров (у старшей версии — 8 млрд) и может создавать высокореалистичные изображения без каких-либо сложных рабочих процессов. Но самое главное заключается в том, что Stable Diffusion 3 Medium работает на обычных потребительских видеокартах с объёмом памяти 5 ГБ, хотя в оптимальных рекомендациях указано 16 ГБ. Раньше для языковых моделей Stable Diffusion требовались исключительно передовые модели NVIDIA.

Stability AI утверждает, что в новой языковой модели были устранены распространенные дефекты на руках и лицах людей при генерации изображений, улучшена типографика, понимание естественного языка и пространственного расположения элементов. SD3 Medium понимает сложные текстовые описания, поэтому обеспечивает «беспрецедентную» точность. Кроме того, отмечается более высокая детализация на мегапиксель. Все эти улучшения во многом связаны с архитектурой Diffusion Transformer.

Ещё одним важным моментом является размер языковой модели, благодаря чему SD3 Medium идеальна для работы на стандартных потребительских GPU. При этом снижения производительности не наблюдается. В Stability AI заявили, что планирует постоянно совершенствовать данную ИИ-модель. Пользователи уже могут протестировать SD3 Medium через API Stability или на сервере Stable Artisan через Discord.