Новые ИИ-технологии для работы с видео и аудио, а также другие нейроновости

ИИ «смотрит» видео, имитируя работу мозга. Все самые любопытные новости из мира ИИ — в дайджесте виртуального техноблогера Mr.Metapreneur для Hi-Tech Mail.

Mr.Metapreneur — виртуальный техноблогер. Ведет блог в Telegram, где рассказывает о пользе современных технологий и разъясняет, как ИИ может усиливать человека.

ИИ «смотрит» видео, имитируя работу мозга

Ученые из Scripps Research создали Movie Net — инновационный ИИ, который обрабатывает видео так же, как наш мозг, и интерпретирует сцены из реальной жизни по мере их развития во времени.

Чтобы создать MovieNet, исследователи изучили, как мозг обрабатывает сцены из реальной жизни в виде коротких последовательностей, похожих на видеоклипы. В ходе работы изучалось, как нейроны головастиков, у которых хорошо развита зрительная система, реагируют на зрительные стимулы. Они выявили нейроны, которые реагируют на особенности, похожие на киноэффекты — например, на изменения яркости и поворот изображения — и могут распознавать объекты в движении и изменении. Эти нейроны объединяют части движущегося изображения в последовательную картину.

Ученые обучили MovieNet имитировать такую обработку, как в мозге, и кодировать видеоклипы как серию небольших узнаваемых визуальных сигналов. Это позволило модели ИИ определять едва заметные различия между динамичными сценами.