Российская нейросеть научилась генерировать реалистичные видео

Это вторая версия нейросети, и работает она на порядок лучше предшественницы. Теперь создавать короткие ролики можно на любой вкус.

Компания Яндекс анонсировала бета-версию новой нейронной сети YandexART (Vi). С ее помощью можно генерировать 5-секундные видео. Модель способна воспроизводить плавные движения объектов на экране, такие как бег собаки, падение листьев с деревьев или взрыв фейерверка. Сообщается, что нейросеть доступна для всех: начиная от простых пользователей и заканчивая дизайнерами или другими специалистами. Воспользоваться YandexART (Vi) получится в приложении Шедеврум.

Отмечается, что первая версия модели для создания коротких видео была показана в августе 2023 года. Если прошлое решение генерировало анимации с эффектом движущейся камеры, то сейчас акцент сделан на движении объектов. Кроме того, исправлен момент со значительным изменением кадров — теперь YandexART (Vi) учитывает связь между ними, а за счет воссоздания реалистичных движений итоговый результат выглядит максимально цельным и «живым». Всё благодаря обучению нейросети на роликах с активно движущимися объектами (авто, животные и т. п.).

Плавность видеороликам обеспечивают незаметно сменяющие друг друга кадры. Сами же ролики создаются на основе текстовых описаний. Перед генерацией нейросеть делает картинку, чтобы пользователь мог оценить ее, и если всё соответствует задумке, YandexART (Vi) начинает создавать анимацию — из цифрового шума образуя кадр за кадром, опираясь на превью и текстовый запрос.