Яндекс.Браузер научился создавать субтитры и даже подсвечивать текущее слово

Во второй половине прошлого года Яндекс представил закадровый перевод видео для своего браузера — инновационную функцию, которая переводит и озвучивает на русском иностранные ролики. Теперь компания дополнила её опцией интерактивных субтитров для YouTube, они создаются автоматически и подсвечивают конкретное слово во время его произношения в видео. Нововведение работает с роликами на английском, французском, немецком и испанском языках, но можно включать и переведённые субтитры на русском. В будущем разработчики планируют добавить больше языковых пар.

Выделение текущего слова поможет не терять смысл сказанного — это особенно важно для тех, кто изучает иностранный язык. В любой момент пользователь может кликнуть на слово, чтобы увидеть перевод и конкретного слова, и всего предложения целиком.

Интерактивные субтитры основаны на нейросетях, а сам перевод выполняется в несколько шагов, но уже на самом первом система распознаёт речь, трансформирует её в текст и, задействуя нейросети, разбивает на предложения. Тогда же технология фиксирует начало и конец каждого слова в ролике — благодаря этому они подсвечиваются именно в момент произношения.

Чтобы воспользоваться интерактивными субтитрами, надо навести курсор на плеер и во всплывающем окне «Перевести видео» выбрать в настройках активацию субтитров.