Исследователи создали систему, которая объясняет мемы незрячим

Это очень сложная задача, отметили ученые. «Мемы часто сделаны так, что они исключают тех, кто не понимает или не имеет возможности их понять с первого раза», — отмечает Скотт Уорк, исследователь мемов в Университете Уорвика.

Многие слабовидящие люди используют увеличители экрана и скринридеры для навигации. Такие программы хорошо подходят для  чтения текстов, но не подходят для более сложного контента — например, мемов.

ИИ помогает баскетбольным тренерам с тактикой

«Стереотипные мемы — это изображение с подписями сверху и снизу. Но за последнее несколько лет они стали намного более странными. У многих из них нет сюжета, как в шутках — поэтому сделать текстовое описание — alt-text — которое произносится вслух, обычно очень сложно».

Система, которую тренируют исследователи, сначала распознает, является ли изображение мемом или нет. Если это мем, то система пытается классифицировать его как показательный пример шаблона в базе данных (например, «Успешный ребенок» или «Ну давай, расскажи мне») и распознает текст — так она понимает контекст шутки.

Исследователи уверены, что их программа сделает интернет доступным для всех. «Мемы не всегда понятны, потому что часто их генерируют сами пользователи, их сложно классифицировать», — говорят они. «Однако чем дальше мы будем продвигаться в обучении системы, тем больше она будет понимать контекст и сами шутки — и объяснять их пользователям».