Анаморфотная камера в смартфоне. Революция от бывших сотрудников Apple

Анаморфотная камера в смартфоне. Революция от бывших сотрудников Apple

Не кажется ли вам, что производители смартфонов заигрались в гонку мегапикселей, а развитие мобильных камер свернуло в сторону количества, а не качества? Портрет современного камерофона примерно следующий: от двух до четырёх камер (две из которых могут быть бесполезными заглушками для макро и боке), разрешение основных сенсоров в районе 50, а в некоторых случаях и 108 Мп. В последнее время в телефонах наконец стали появляться перископические объективы, позволяющие реализовать более качественный зум без потерь, тогда как портретные или ультраширокие модули особо не развиваются — чаще всего, они просто есть. В редких смартфонах встречаются огромные матрицы, позволяющие обойтись без лишних модулей, но качество съёмки таких камер пока ещё оставляет слишком много вопросов. Кто-то должен это всё изменить, и этот кто-то — новый стартап Glass от бывших сотрудников Apple, придумавших портретный режим в iPhone. На этот раз они придумали кое-что другое. Вернее, вспомнили об одной очень популярной в мире большого кинематографа вещи — анаморфотные линзы.

Рендер прототипа Glass с анаморфотной камерой

Чтобы улучшить качество изображения, обычно нужно три вещи: сенсор большего размера, лучший объектив и волшебство вычислительной фотографии. Крупные сенсоры требуют крупных линз, которым нет места в телефонах. Вычислительное волшебство тоже имеет ограничения — обычно его возможности ограничены склеиванием нескольких снимков для наилучшего HDR или красивого размытия фона. «Раньше ограничения были связаны с ценой, теперь — с размерами», — говорит Зив Аттар, соучредитель и генеральный директор Glass, более 10 лет работающий в сфере мобильной фотографии, в том числе в Apple. Другой соучредитель, Том Бишоп, также работал в Apple. Вдвоём они трудились над созданием портретного режима и, вероятно, были недовольны ограничениями традиционного дизайна мобильных камер.«Пять лет назад компании начали делать объективы шире и увеличивать матрицу. Затем подключились алгоритмы, чтобы уменьшить шум, но и это достигает своего предела — изображения превращаются в чистую галлюцинацию, образы, созданные ИИ. Ночной режим задирает экспозицию, но по итогу снимок выглядит странно и фальшиво».«Экран телефона нас обманывает, — продолжает он. «Если вы позволите обычному человеку сравнить iPhone 12 и 13, он не увидит между ними разницы, но по сравнению с профессиональной камерой это сможет сказать каждый. Если вы видите эту разницу, то вам предстоит много работы».Так что же это за работа? Аттар решил, что из всех различных загадок единственная, которую имеет смысл решать, — объектив. Он не может стать больше, если вы используете обычный симметричный объектив. Но почему мы должны использовать именно такой объектив? Столетие назад люди отказались от этого ограничения в кинематографе. Пришло время отказаться и в телефонах.Анаморфная эволюция

CG-изображение, показывающее примеры анаморфотных (вверху) и традиционных симметричных линз, а также получающийся внутренний размер изображения.

Система линз, предложенная Glass, не совсем такая же, какую часто используют в мире кино, но в ней задействованы схожие принципы и линзы необычной формы. Всё началось с фундаментальной идеи о том, как добавить датчик большего размера. Простое создание квадрата большего размера потребовало бы большего объектива, чего мы не можем сделать. Но что, если сделать датчик длиннее, как прямоугольник? Вам понадобится более длинный прямоугольный объектив. Анаморфный метод позволяет захватывать и проецировать увеличенное, но искажённое изображение, а затем преобразовывать его в правильное соотношение сторон через процессор обработки изображений. Насколько большее изображение получится захватить? Что ж, основная камера iPhone 13 имеет датчик размером около 7×5 миллиметров, то есть всего 35 квадратных мм. В прототипе Glass используется датчик размером около 24×8 мм: около 192 квадратных мм — в 5-6 раз больше iPhone, с соответствующим увеличением до мегапикселей. Вот небольшая таблица для ознакомления:

Но Аттар объясняет, что, согласно их измерениям, разница получается ещё большей. Если расширить изображение до правильного соотношения сторон, оно будет в два раза выше: 24x16 мм, чуть меньше стандарта APS-C в зеркальных фотокамерах, но намного выше, чем у Микро 4:3 и 1-дюймовых датчиков, распространённых в беззеркальных камерах. Это позволяет заявлять о том, что «область изображения», получаемого с прототипа камеры с анаморфотной оптикой, в 11 раз больше, чем у iPhone. И это полностью меняет правила игры для мобильных телефонов.Больше, ярче, страннееУ этого процесса есть преимущества и недостатки. Наиболее важным из них является огромное увеличение светосилы и разрешающей способности. Больше света означает лучшую экспозицию в целом и лучшие снимки в сложных условиях — не будет необходимости в причудливом ночном режиме с мультиэкспозицией на основе машинного обучения, если вы сможете просто... видеть вещи. У таких изображений будет гораздо больше деталей, чем на обычных смартфонах.

Изображение с iPhone 12 Pro Max слева и прототипа Glass справа

Трудно сравнивать одно с другим, когда фокусные расстояния, обработка изображений и выходное разрешение настолько разные, но, по крайней мере, вы можете увидеть, насколько больше деталей выдает камера прототипа Glass. Оригинальные полноразмерные изображения доступны здесь и здесь.

Пример съёмки при очень слабом освещении — iPhone слева, Glass справа

Из-за большего сенсора и иной природы стекла вы также получите естественное боке или размытие фона. Портретный режим, безусловно, является фаворитом среди пользователей смартфонов, но даже лучшие методы имитации боке далеки от совершенства.

Пример изображения, показывающего портретный режим на iPhone (слева) и необработанный снимок Glass, на котором отсутствуют сглаживание и артефакты, как на обработанном снимке

Хоть оптического зума и не будет, Аттар отмечает, что увеличение путём кадрирования (т.е. цифровое увеличение) в системе Glass позволит вам увидеть больше, чем большинство оптических зумов, и у вас всё равно останется больше света и пикселей.Эти преимущества более чем значительны. Улучшение светосилы и детализации точно пригодятся мобильным камерам.Недостатки в основном связаны со сложностью работы с камерой, которая оптически полностью отличается от традиционной. Механизмы автофокусировки совсем другие (анаморфотная фокусировка гораздо сложнее), и есть масса искажений и аберраций, которые нужно исправить. Симметричные объективы такого размера тоже имеют дисторсию и деградацию, но другого типа.«Все искажения исправляются во время проектирования, поэтому мы заранее знаем, что можем их исправить», — говорит Аттар. «Это итеративный процесс, но мы уже начали разработку специализированного программного инструмента для совместной оптимизации параметров объектива и переменных нейронной сети». Другими словами, они бы не стали проектировать ничего, что не смогли бы исправить.Отдельного внимания заслуживает форма боке. Обычно блики не в фокусе размываются в маленькие полупрозрачные круги, но в системе Glass они превращаются в градиент овалов и пухлых полумесяцев.

Кому-то это может показаться неестественным. Фильмы, снятые на анаморфотную оптику, демонстрируют подобное искажение боке, так что это на самом деле довольно распространённая вещь, которую мы просто не видели на неподвижных изображениях и снимках со смартфона.У подобной технологии могут быть и другие минусы. Например, недостатки, связанные с необходимостью растягивать изображение в цифровом виде — такие вещи, если сделаны плохо, могут привести к муару и другим нежелательным артефактам. Но по словам Аттара, очень просто обучить систему делать это так, чтобы никто не мог заметить разницу, кроме наблюдателей за пикселями: «Мы обучили сети применять одномерное сверхвысокое разрешение на основе информации с других осей. После того, как мы применили наш алгоритм, изображение выглядит так, как будто получено от полного датчика APS-C, как по полю зрения, так и по разрешению».Всё это должно быть проверено обозревателями и экспертами по камерам, когда появится готовая к производству версия прототипа, но теория кажется здравой, а первые результаты более чем многообещающими.Прямо сейчас компания перешла от автономных прототипов к устройству телефонного форм-фактора третьего поколения, которое показывает, как технология впишется практически в любое шасси на рынке. По словам Аттара, в нём нет ничего экзотического, кроме оптических характеристик, поэтому, хоть его производство и будет не таким дешевым, как сегодняшние стандартные камеры и блоки обработки изображений, его можно сделать так же легко. Он считает, что цена уже вряд ли имеет значение, и если одна компания сможет сделать огромный скачок в качестве камеры, она сможет захватить большую часть рынка.«Мы должны убедить производителей телефонов отказаться от старой технологии. Мы видим хорошие отзывы. Единственная проблема — сделать это в разумные сроки. Я не говорю, что риска нет. У многих из нас была хорошая работа в крупных компаниях. Мы бы не оставили свои зарплаты в Apple, чтобы работать над какой-то ерундой. У нас был план с самого начала».Даже если сейчас Glass сможет заключить соглашение с крупным производителем мобильных устройств, потребуется полтора-два года, чтобы выйти на рынок. «Но мы должны с чего-то начать». Компания Glass уже привлекла $2,2 млн начального финансирования под руководством LDV Capital и группы бизнес-ангелов. Эта сумма не предназначена для покрытия производственных затрат, но теперь, когда компания покидает лабораторию, ей потребуются операционные деньги для коммерциализации технологии, даже если крупный производитель возьмет на себя обязательства по производству. Грег Гилли, бывший вице-президент Apple по камерам и фотографиям, и Рамеш Раскар из лаборатории MIT Media, присоединились в качестве консультантов, завершив команду, которой инвесторы, вероятно, смогут доверять