События сорокалетней давности в хорошем качестве: нейросеть YandexART Яндекса научилась восстанавливать архивные видеозаписи и кинохронику

Команда Яндекса обновила диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимацию в ответ на текстовые запросы пользователей. Разработчики обучили нейросеть восстанавливать архивные видеозаписи и кинохронику. Как рассказали в компании, это может быть полезно кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием. 

Иллюстрация: Яндекс

Нейросеть уже восстановила видеохронику из материалов «Мосфильма» и Российского государственного архива кинофотодокументов для нового сериала «Кинопоиска» под названием «Игры» о подготовке и организации Олимпиады-80.

Иллюстрация: Яндекс

Благодаря YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве. Нейросеть помогла добавить на размытый и нечёткий кадр фактуру и недостающие детали. Например, она прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно. Также нейросеть увеличила разрешение и резкость и повысила качество видеокадров.

Разработчики Яндекса научили модель не «галлюцинировать», то есть не придумывать то, чего изначально не было. YandexART теперь умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.