3D-аватары писателей, интерактивные матрёшки и квесты в метавселенной: интеграция Сбера и СберМаркетинга на Фестивале молодёжи в Сочи

В начале марта 2024 года в Сочи состоялось масштабное событие — Всемирный фестиваль молодёжи. Генеральный партнёр мероприятия Сбер совместно с командами центра технологий Метавёрса Сбера и Event Lab СберМаркетинга выступил с креативным решением и зрелищными интеграциями на базе AI-технологий. О концепции, инструментах, челленджах и результатах рассказали участники проекта.

Цели и задачи

Всемирный фестиваль молодёжи в Сочи — крупнейшая площадка для культурного обмена и общения молодых специалистов и студентов со всего мира. С 1 по 7 марта 2024 года федеральная территория «Сириус» объединила более 100 тыс. гостей из России и 188 стран. Программа включала выступления Полины Гагариной, Леонида Агутина и других популярных исполнителей, а в церемонии закрытия фестиваля участвовал президент РФ Владимир Путин.

В праздничной атмосфере гости мероприятия знакомились с культурой принимающей страны и с её технологическими возможностями, в том числе использования искусственного интеллекта (ИИ). Сбер обратился в Event Lab СберМаркетинга, чтобы совместно разработать креативную интеграцию с использованием AI-решений.

Инструменты

Интерактивный «Технопарк Сбера»

Темы многогранности русской культуры и AI-технологий объединила площадка «Технопарк Сбера», занявшая на время фестиваля здание планетария «Сириус». Команда проекта разделила внутреннее пространство павильона на несколько интерактивных зон. Таким образом, путь посетителей проходил через важнейшие слои русской культуры: живопись, литературу, науку.

Стильные матрёшки и Kandinsky

Первыми после регистрации посетителей «Технопарка Сбера» встречали две интерактивные скульптуры матрешек, созданные при поддержке крупнейшей мультимедийной студии Sila Sveta. Каждому из гостей предлагалось с помощью тач-панели с интегрированной нейросетью Сбера Kandinsky подобрать для кукол кастомный наряд-проекцию по мотивам картин известных русских художников. Модный образ состоял из двух независимых для выбора стиля элементов — косынки и платья. В результате у гостей получались оригинальные анимированные и статические комбинации, в которые облачались матрёшки в зале и которые можно было сохранить на мобильные устройства в виде открыток.

Купольный зал и AI-двойники Пушкина, Толстого, Достоевского

После зоны с интерактивными матрёшками гости попадали в главный зал с куполом, на котором транслировалось зрелищное аудиовизуальное шоу, подготовленное совместно с Sila Sveta.

По окончании купольного светового шоу фокус внимания перемещался на шесть стендов с AI-аватарами великих русских писателей: А. С. Пушкина, Л. Н. Толстого, Ф. М. Достоевского. Гости задавали великим русским классикам вопросы, просили сочинить для них поэтический экспромт и обсуждали темы из современной жизни. Общение с цифровыми двойниками писателей происходило на русском и английском языках при помощи нейросетевой модели GigaChat.

Цифровые аватары получали современные знания и обучались коммуницировать в манере, присущей каждому из трёх писателей. Чтобы пользовательский опыт был максимально гладким и комфортным, интеракция была продумана до мелочей. Например, во время паузы, в течение которой модель генерировала ответ, диджитал-двойник произносил естественные для живого общения фразы вроде «Это хороший вопрос, мне надо подумать».

К реализации проекта, ставшего первым в России опытом коммуникации в режиме реального времени с несколькими персонализированными цифровыми аватарами в рамках крупного офлайн-фестиваля, команда Event Lab СберМаркетинга привлекла студию Itsalive, которая отвечала за визуальный облик аватаров, и центр технологий Метавёрса Сбера, обучивший и анимировавший цифровых двойников русских писателей.

Фестиваль и квесты в метавселенных

Команда проекта создала две открытые метаплощадки, доступные в браузере:

1. Метавселенную фестиваля, где каждый пользователь выбирал себе аватар, отправлялся в космическое путешествие, а после возвращения из космоса и приземления в Сочи проходил квиз на знание творчества А. С. Пушкина. Во время шутливого интерактива диджитал-двойник поэта предлагал угадать, кто написал ту или иную строчку — он сам или GigaChat.

2. Виртуальное пространство на базе технологии Web3D — для трансляции концертов и торжественных выступлений на большом экране. Здесь посетители не только следили за программой на сцене, но и активно принимали участие в прохождении онлайн-квестов.

Интеграции в шоу-программу и приложение фестиваля

Важным этапом фестиваля была церемония открытия, музыкальным хедлайнером которой выступила Полина Гагарина. В качестве эффектного фона команда проекта при помощи нейросети Kandinsky сгенерировала брендированный ролик. Он транслировался на экранах сцены и в метавселенной во время исполнения певицы.

Также в течение церемонии открытия голос ведущего Константина Хабенского приглашал всех участников фестиваля посмотреть на их мечты. Для этого гостям нужно было зайти в приложение фестиваля и найти раздел «Мечты», где на основе индивидуальных интересов и предпочтений Kandinsky создавал захватывающую мультимедийную визуализацию. А разработанный командой Event Lab СберМаркетинга софт для приложения фестиваля давал полезные подсказки и помогал сориентироваться в обширной программе ивента.

Развлекал и информировал гостей на главной открытой сцене ведущий от СберМаркетинга — Роман Каграманов. Он делился подробностями о фестивале, приглашал участвовать в розыгрыше призов в соцсетях и провёл церемонию награждения победителей конкурса с хештегом #SberGigaFest. Ежедневно на главной сцене также выступала команда танцоров на фоне мультимедийного контента от Kandinsky, и был организован танцевальный флешмоб, в котором движения на большом экране генерировала нейросеть.