Зачем создают голограммы для VR и AR
Разбираемся вместе с кофаундером Sensorama.
2 марта 2021 года Microsoft представил платформу Mesh для смешанной реальности. По замыслу разработчиков, пользователи создают виртуальные аватары и голографические 3D-модели, взаимодействовать с которыми смогут люди из разных стран. Корпорация планирует запустить систему приложений, основанных на технологии.
Вместе с Кириллом Покутным, сооснователем VR-студии Sensorama, рассказываем, зачем создают голограммы и как они меняют действительность.
Что такое голограмма
Голограмма — это способ воспроизведения информации, который воссоздает трехмерные изображения предметов. Существует два метода создания голограмм: физический и компьютерный.
В первом случае изображение получают благодаря двум свойствам световых волн: дифракции (огибания препятствий и преломления света) и интерференции (смены интенсивности света в случае наложения нескольких световых волн).
Голограмма визуализируется в той точке пространства, где соединяются опорная и объектная волны, которые создаются при разделении лазерного луча.
Компьютер может создать голограммы и для несуществующих или отсутствующих в пространстве предметов. Нужно лишь задать размер и данные о рельефе предмета. Учитывая эти признаки, алгоритм рассчитывает объектную волну, а затем визуализирует голограмму.
Физический способ создания голограмм применяют для оптических дисплеев и гаджетов дополненной реальности (AR), а компьютерный — для VR.
Холопортация и степени свободы
Microsoft еще в 2015 году запустил очки HoloLens для виртуальной реальности. В 2016 году компания представила технологию холопортации. Вот как она работает: трехмерную модель человека создают с помощью нескольких камер, а затем транслируют в реальном времени. В очках HoloLens пользователи видят 3D-изображение собеседников в своем пространстве. Это имитация аватара человека.
Кирилл: «Такой контент еще называют волюметрическим видео. Студий, которые его создают, немного. Самая известная — Microsoft mixed reality capture studio. Съемку ведут сотней камер со скоростью 30 кадров в секунду в комнате с хромакеем, а затем сохраняют данные и рендерят в облачных технологиях Azure. На выходе получают информацию о меше и текстуре. Это позволяет создать 3D-модель с фотореалистичной текстурой, которая меняется 30 раз в секунду, и рассматривать ее со всех ракурсов».
Среди недостатков — длительный процесс обработки контента. Съемки минутной голограммы могут обрабатываться неделю, а объем данных с одной камеры глубины с хорошей текстурой может превысить 100 Гб за минуту. Senosorama применяла эту технологию в проекте «Бабий Яр. Виртуальное воспоминание».
Кирилл: «Мы использовали программное обеспечение DepthKit, а также камеру глубины Kinect и камеру Sony, которая получала текстуру. Преимущество в том, что в проекте "Бабий Яр" пользователь глубже погружается в историю. Человек может ходить, взаимодействовать. Это более совершенная технология для погружения, чем 360°-видео, — шесть степеней свободы (6DoF). В 360°-видео человек стоит на одном месте, он может оборачиваться, но от его перемещений ничего не изменится. Это три степени свободы — 3DoF».
Microsoft Mesh: исследование океана и Pokemon Go
На конференции Ignite 2021 Microsoft представил платформу Mesh, созданную на базе Azure. Основной способ применения — общение и связь с другими пользователями.
Сначала Mesh будет представлять людей в виде анимированных аватаров на основе ваших черт лица. Для этого используют профили с социальной платформы AltspaceVR, которая тоже принадлежит корпорации. Планируется, что платформа будет поддерживать технологию холопортации для создания максимального эффекта присутствия. Алекс Кипман, ведущий разработчик Microsoft HoloLens, выступал на конференции в виде голограммы.
В Mesh также можно создавать голографический 3D-контент, с которым будут взаимодействовать другие пользователи.
Mesh — не только платформа для общения. НКО OceanX, которая сотрудничает с Microsoft, заявила, что создаст на борту своего разведывательного судна «голографическую лабораторию» для визуализации районов исследования. Ученые смогут отображать подводные каньоны с помощью данных, которые они получают с меток, установленных на китах.
Компания Niantic продемонстрировала многопользовательский прототип игр Pokemon Go с применением Mesh. С помощью VR-очков HoloLens 2 игроки смогли взаимодействовать. Игровая студия отмечает, что готовой технологии для массового использования пока нет, но продолжит сотрудничать с Microsoft.
Пока Mesh доступна только в демоверсии для HoloLens и других VR-устройств, а также на смартфонах и ПК. В Microsoft надеются, что инструмент позволит архитекторам и инженерам совместно работать над моделями. Также ожидается, что его смогут использовать студенты технических и медицинских вузов.
Кирилл: «Холопортация — это решение, похожее на телеконференцию, которое стоит сотни тысяч долларов. Но его пытаются удешевить, выпуская аналоги. Mesh — скорее платформа для бизнеса. Коммуникации и совместное взаимодействие с 3D-контентом возможно и в других платформах, например, Photon Cloud. Но если на базе Photon можно решить задачу, написав свой код интеграции, то Mesh — набор готовых инструментов для задач. Разрабатывать придется меньше».
Голограмма-радар
Microsoft — не единственные разработчики голограмм. Исследователи из Технологического университета Мюнхена применили Wi-Fi роутеры, чтобы получить голограммы помещений. Сигналы будут обновляться со скоростью до 10 кадров в секунду, что позволит видеть изменения в помещении, то есть «видеть сквозь стены».
Ученые создали голограмму с помощью гигагерцового излучения роутеров. Для этого один роутер разместили внутри помещения, а другой использовали как антенну, которая принимает волны, и двигались с ней снаружи. Они зафиксировали и сигнал устройства, и отражение предметов внутри помещения. Благодаря этому удалось визуализировать полную 3D-структуру комнаты.
Сфотографировать деление клеток
Хотя голограммы придумали еще в конце 1940-х, технология не развивалась из-за зернистости изображения. Ситуация изменилась в 60-х, когда для создания голограмм начали использовать лазеры. С этого времени технология почти не изменилась. В 2020 году исследователи из Австралийского национального университета придумали, как создать голограмму практически в темноте.
Эта разработка пригодится в биологии и медицине. Из-за светового шума, который существует в каждой технике с фотосенсорами, съемка микроскопических объектов получается некачественной. Усложняет задачу и то, что клетки живых существ чувствительны к свету.
Решить проблему помогло машинное обучение. Команда создала нейросеть Holo Unet и обучила ее на 800 изображениях голограмм, часть информации из которых потом удалили. После тысяч циклов тренировок Holo Unet научился восстанавливать голограммы с фотографий, сделанных при низкой освещенности. В университете заявляют, что смогут записать голограмму живых клеток меньше чем за сотую часть секунды с небольшим количеством света. Это позволит увидеть деление клеток гораздо четче.
Проекции в реальном времени
В Стэнфорде работают над технологией, которая поможет создавать голограммы в реальном времени. У разработчиков пока нет точных алгоритмов для моделирования всех аспектов распределения света в VR и AR. Даже мелкие движения человека требуют повторных сложных и продолжительных вычислений. Из-за того, что мозг обрабатывает информацию лучше, он понимает иллюзорность картины. Этим также объясняется плохое качество графики.
Решение проблемы, которое предложили в университете, основано на ML. Нейросеть обучали по принципу «камеры в петле» (процесса цикличной записи). Камеру соединяют с нейросетью. Сначала нейросеть пытается создать трехмерное изображение, а потом выводит его на дисплей. Камера снимает то же место, которое пытался создать алгоритм, и тоже выводит информацию. Затем нейросеть сравнивает проекцию с оригиналом. Со временем алгоритм обучается создавать трехмерные картины и рисовать образы, которые не встречал в учебных данных.
Технология пока не идеальна, но лучше, чем другие решения в отрасли. Авторы надеются, что эта работа приблизит их к созданию визуальных эффектов, неотличимых от реальности.
Недорогие 3D-сканеры уже выходят на рынок. Например, датчик LiDAR в планшете iPad Pro или iPhone.
Кирилл: «Изменения в сфере происходят каждый день. Среди кардинальных — использование нейросетей. Это deep learning и 3D deep learning — понимание нейросетями изображений и перевод их в трехмерный формат.
Нейросети смогут строить модели с помощью одной камеры или записанного видео (в отличие от технологии волюметрического видео, где необходима сотня камер). Однако пока такие нейросети недоступны. Анонсированы университетские разработки, но в opensource подобных еще нет.
Ранее алгоритмы представили в 4К "Прибытие поезда" братьев Люмьер. Значит, скоро нейросеть сама построит такую 3D-сцену, где мы сможем ходить и погружаться в историю».
