Автомобилем будущего можно будет управлять голосом — в Китае создали модель

Специалисты Университета Макао (специальный административный регион Китая) создали модель управления автономным автомобилем при помощи голосовых команд. Ноу-хау объединяет компьютерное зрение, понимание речи и мощные языковые модели.

По словам ученых, автовладельцы опасаются пока полностью передавать управление машиной искусственному интеллекту. Созданный голосовой помощник призван повысить доверие к автономному транспорту.

При создании девайса сложность заключалась в том, чтобы научить систему понимать речь и согласовывать ее с ситуацией на дороге. Исследователи использовали набор данных Talk2Car, в которых указывались участки дорог, исходя из текстовых инструкций.

Созданная в итоге модель CAVG использует компьютерное зрение, чтобы выделить отдельные изображении с камеры, а затем анализирует их соответствие командам. При этом уделено особое внимание пониманию эмоционального контекста команд и сложных ситуаций на дороге. Отмечается, что в модели использованы языковые технологии, по аналогии с GPT-4V для точной интерпретации команд.

Модель прошла испытание в сложных условиях: ночью, в загруженном транспортном потоке мегаполиса, с неоднозначными командами и плохой видимостью. В итоге CAVG продемонстрировала высокую эффективность и результаты и превзошла существующие решения. В планах разработчиков – совершенствование системы с добавлением различных данных, например, вид сверху с высоты птичьего полета, а также информации о траектории движения. Благодаря этим новшествам повысится точность управления, а автономные автомобили станут еще надежнее.

Источник: ferra.ru