Виртуальный дом научил нейронную сеть описывать бытовые действия на видео

Командой исследователей из Словении, Канады и США создана виртуальная среда, обучающая алгоритмы бытовым действиям. Также они создали полноценную систему (DataSet), которая включат в себя множество программ с описанными в них бытовыми сценариями и последовательностью основных действий. Более того, теперь искусственная нейронная сеть умеет автономно создавать такие программы, используя видеосъемку или текстовое описание на простом языке. Представить работу планируют на конференции CVPR.

Привычная для человека задача, например, «принести предмет из соседней комнаты», сложно воспринимается роботом, так как включает в себя большое количество мелких подзадач, которые мы не воспринимаем. Выполнить подобные задачи робот сможет, если его научат понимать многоуровневые команды, и он сам сможет разделять их на простейшие действия. Прописывать последовательность действий вручную не имеет смысла, т.к. робот научится ограниченному кругу действий.

В 2017 году американскими разработчиками был создан алгоритм, который улучшил понимание команд роботами. Ученые обучили программу переводить команду в действие и анализировать их абстрактную степень. В результате робот верно понимал команды в 9 случаях из 10 за 1 секунду.