Pika представила ИИ для наложения звука на движения губ

Благодаря поддержке ElevenLabs новая функция Pika Lip Sync поддерживает как преобразование текста в аудио, так и загруженные звуковые дорожки. Пользователь может записать речь для персонажей, сгенерированных искусственным интеллектом Pika, а также изменить звучание и интонацию голоса.

Видео, созданные Pika, пока менее качественные и реалистичные, чем те, что продемонстрировала модель https://hightech.plus/2024/02/16/novaya-ii-model-openai-gene... от OpenAI или другой стартап по генерации видео https://hightech.plus/2023/03/21/novaya-neiroset-ot-runway-a.... Но добавление новой функции Lip Sync выдвигает Pika вперед, поскольку предлагаемые возможности могут изменить традиционное программное обеспечение для создания фильмов.

С функцией Lip Sync Pika решает одну из последних преград в использовании искусственного интеллекта для создания полноценных фильмов с сюжетом. В отличие от других ведущих генераторов ИИ-видео, Pika позволяет легко добавлять речевой диалог и синхронизированные движения губ персонажей прямо в процессе создания видео. Ранее приходилось пользоваться сторонними инструментами и громоздкими дополнениями при пост-обработке.

Функция пока доступна только для подписчиков Pika Pro (подписка стоит $58 в месяц и оплачивается на 12 месяцев вперед за $696) или участников программы Super Collaborators от Pika, доступ к которой осуществляется по приглашению через группу Discord.

Многие авторы задаются вопросом, на каких данных обучалась видео-модель Pika, и обеспокоены, что их работы используются без их разрешения. Часть профессионального кинопроизводственного сообщества также опасается потери рабочих мест и сокращения качества производства из-за ИИ-видео. Однако, несмотря на это, компании продолжают развивать технологии и создавать инструменты для более качественной генерации видео.