Создана система машинного обучения, которая быстро генерирует 3D-изображения из текстового запроса

За последний год было несколько анонсов систем, которые могут генерировать 3D-изображения, используя текстовые описания, например, «деревянный стол у жёлтой стены» или «девочка в розовом платье на белом самокате». Обычно подобные системы состоят из двух частей: одна из них анализирует текст, а вторая создаёт необходимое изображение.
Системам может потребоваться до нескольких дней для обработки запроса. Point-E – это аналогичная система, которая способна выдавать результат в течение нескольких минут, хотя он, как признают в компании, не всегда соответствуют современному уровню с точки зрения качества выборки.
Подход, который применили в OpenAI, несколько отличается от стандартного. Их система создаёт облако точек, напоминающее требуемое изображение. Первый модуль системы преобразует текст в идею, а второй находит картинки, которые используются для получения итогового изображения. Искуственный интеллект преобразует полученные данные в сетки, которые затем создают 3D-модель.
В компании отмечают, что визуальное качество Point-E несопоставимо с результатами других систем, но Point-E может быть полезна при изготовлении объектов реального мира с помощью 3D-принтера.
Пользователи, желающие работать с Point-E, могут получить доступ к коду на GitHub.