Навіщо створюють голограми для VR і AR
З’ясовуємо разом із кофаундером Sensorama
2 березня 2021 року Microsoft представив платформу Mesh для змішаної реальності. За задумом розробників, користувачі створюють віртуальні аватари та голографічні 3D-моделі, взаємодіяти з якими зможуть люди з різних країн. Корпорація планує запустити систему застосунків, заснованих на технології.
Разом із Кирилом Покутним, співзасновником VR-студії Sensorama, розповідаємо, навіщо створюють голограми та як вони змінюють дійсність.
Що таке голограма
Голограма — це спосіб відтворення інформації, який формує тривимірні зображення предметів. Існує два методи створення голограм: фізичний і комп’ютерний.
У першому випадку зображення отримують завдяки двом властивостям світлових хвиль: дифракції (огинання перешкод і заломлення світла) та інтерференції (зміни інтенсивності світла в разі накладення кількох світлових хвиль).
Голограма візуалізується в тій точці простору, де з’єднуються опорна та об’єктна хвилі, які створюються під час розділення лазерного променя.
Комп’ютер може створити голограми й для відсутніх у просторі предметів або для тих, яких не існує. Потрібно лише задати розмір і дані про рельєф предмета. Зважаючи на ці ознаки, алгоритм розраховує об’єктну хвилю, а потім візуалізує голограму.
Фізичний спосіб створення голограм застосовують для оптичних дисплеїв і гаджетів доповненої реальності (AR), а комп’ютерний — для VR.
Голопортація і ступені свободи
Microsoft ще 2015 року запустив окуляри HoloLens для віртуальної реальності. У 2016 році компанія представила технологію голопортації. Ось як вона працює: тривимірну модель людини створюють за допомогою кількох камер, а потім транслюють у реальному часі. В окулярах HoloLens користувачі бачать 3D-зображення співрозмовників у своєму просторі. Це імітація аватара людини.
Кирило: «Такий контент ще називають волюметричним відео. Студій, які його створюють, небагато. Найвідоміша — Microsoft Mixed Reality Capture Studios. Зйомку ведуть сотнею камер зі швидкістю 30 кадрів на секунду в кімнаті з хромакеєм, а потім зберігають дані та рендерять у хмарних технологіях Azure. На виході отримують інформацію про меш і текстуру. Це дає змогу створити 3D-модель із фотореалістичною текстурою, яка змінюється 30 разів на секунду, і розглядати її з усіх ракурсів».
Серед недоліків — тривалий процес обробки контенту. Зйомки хвилинної голограми можуть оброблятися тиждень, а обсяг даних з однієї камери глибини з гарною текстурою може перевищити 100 Гб на хвилину. Senosorama застосовувала цю технологію в проєкті «Бабин Яр. Віртуальний спогад».
Кирило: «Ми послуговувалися програмним забезпеченням DepthKit, а також камерою глибини Kinect і камерою Sony, яка отримувала текстуру. Перевага в тому, що в проєкті “Бабин Яр” користувач глибше занурюється в історію. Людина може ходити, взаємодіяти. Це досконаліша технологія для занурення, ніж 360°-відео, — шість ступенів свободи (6DoF). У 360°-відео людина стоїть на одному місці, вона може обертатися, але від її переміщень нічого не зміниться. Це три ступені свободи — 3DoF».
Microsoft Mesh: дослідження океану та Pokémon Go
На конференції Ignite 2021 Microsoft представив платформу Mesh, створену на базі Azure. Основний спосіб застосування — спілкування і зв’язок з іншими користувачами.
Спочатку Mesh представлятиме людей у вигляді анімованих аватарів на основі ваших рис обличчя. Для цього використовують профілі із соціальної платформи AltspaceVR, яка теж належить корпорації. Планують, що платформа підтримуватиме технологію голопортації для створення максимального ефекту присутності. Алекс Кіпман, провідний розробник Microsoft HoloLens, виступав на конференції у вигляді голограми.
У Mesh також можна створювати голографічний 3D-контент, з яким взаємодіятимуть інші користувачі.
Mesh — не тільки платформа для спілкування. НКО OceanX, яка співпрацює з Microsoft, заявила, що створить на борту свого розвідувального судна «голографічну лабораторію» для візуалізації районів дослідження. Вчені зможуть відтворювати підводні каньйони за допомогою даних, які вони отримують з міток, встановлених на китах.
Компанія Niantic продемонструвала багатокористувацький прототип ігор Pokémon Go із застосуванням Mesh. За допомогою VR-окулярів HoloLens 2 гравці змогли взаємодіяти. Ігрова студія зазначає, що готової технології для масового використання поки що немає, але продовжить співпрацювати з Microsoft.
Поки що Mesh доступна тільки в демоверсії для HoloLens та інших VR-пристроїв, а також на смартфонах і ПК. У Microsoft сподіваються, що інструмент дасть змогу архітекторам та інженерам спільно працювати над моделями. Також очікують, що його зможуть використовувати студенти технічних і медичних вишів.
Кирило: «Голопортація — це рішення, схоже на телеконференцію, яке коштує сотні тисяч доларів. Але його намагаються здешевити, випускаючи аналоги. Mesh — скоріше платформа для бізнесу. Комунікації та спільна взаємодія з 3D-контентом можливі й в інших платформах, наприклад, Photon Cloud. Але якщо на базі Photon можна розв’язати завдання, написавши свій код інтеграції, то Mesh — набір готових інструментів для завдань. Розробляти доведеться менше».
Голограма-радар
Microsoft — не єдині розробники голограм. Дослідники з Технологічного університету Мюнхена застосували Wi-Fi роутери, щоб отримати голограми приміщень. Сигнали оновлюватимуться зі швидкістю до 10 кадрів на секунду, що дасть змогу бачити зміни в приміщенні, тобто «бачити крізь стіни».
Учені створили голограму за допомогою гігагерцового випромінювання роутерів. Для цього один роутер розмістили всередині приміщення, а інший використовували як антену, що приймає хвилі, і рухалися з нею зовні. Вони зафіксували й сигнал пристрою, і відображення предметів усередині приміщення. Завдяки цьому вдалося візуалізувати повну 3D-структуру кімнати.
Сфотографувати поділ клітин
Хоча голограми вигадали ще наприкінці 1940-х, технологія не розвивалася через зернистість зображення. Ситуація змінилася в 60-х, коли для створення голограм почали використовувати лазери. З цього часу технологія майже не змінилася. У 2020 році дослідники з Австралійського національного університету придумали, як створити голограму майже в темряві.
Ця розробка стане в пригоді в біології та медицині. Через світловий шум, який існує в кожній техніці з фотосенсорами, зйомка мікроскопічних об’єктів виходить неякісною. Ускладнює завдання і те, що клітини живих істот чутливі до світла.
Розв’язати проблему допомогло машинне навчання. Команда створила нейромережу Holo Unet і навчила її на 800 зображеннях голограм, частину інформації з яких потім видалили. Після тисяч циклів тренувань Holo Unet навчився відновлювати голограми з фотографій, зроблених за низької освітленості. В університеті заявляють, що зможуть записати голограму живих клітин менше ніж за соту частину секунди з невеликою кількістю світла. Це дасть змогу побачити поділ клітин набагато чіткіше.
Проєкції в реальному часі
У Стенфорді працюють над технологією, яка допоможе створювати голограми в реальному часі. У розробників поки що немає точних алгоритмів для моделювання всіх аспектів розподілу світла у VR і AR. Навіть дрібні рухи людини вимагають повторних складних і тривалих обчислень. Через те, що мозок обробляє інформацію краще, він розуміє ілюзорність картини. Цим також пояснюють погану якість графіки.
Рішення для проблеми, яке запропонували в університеті, засноване на ML. Нейромережу навчали за принципом «камери в петлі» (процесу циклічного запису). Камеру з’єднують із нейромережею. Спочатку нейромережа намагається створити тривимірне зображення, а потім виводить його на дисплей. Камера знімає те саме місце, яке намагався створити алгоритм, і теж виводить інформацію. Потім нейромережа порівнює проєкцію з оригіналом. Згодом алгоритм навчається створювати тривимірні картини й малювати образи, які не зустрічав у навчальних даних.
Технологія поки що не ідеальна, але краща, ніж інші рішення в галузі. Автори сподіваються, що ця робота наблизить їх до створення візуальних ефектів, які не відрізняються від реальності.
Недорогі 3D-сканери вже виходять на ринок. Наприклад, датчик LiDAR у планшеті iPad Pro або iPhone.
Кирило: «Зміни у сфері відбуваються щодня. Серед кардинальних — використання нейромереж. Це Deep Learning і 3D Deep Learning — розуміння нейромережами зображень і переведення їх у тривимірний формат.
Нейромережі зможуть будувати моделі за допомогою однієї камери або записаного відео (на відміну від технології волюметричного відео, де потрібна сотня камер). Однак поки що такі нейромережі недоступні. Анонсовано університетські розробки, але в opensource подібних ще немає.
Раніше алгоритми представили в 4К “Прибуття поїзда” братів Люм’єр. Отже, скоро нейромережа сама побудує таку 3D-сцену, де ми зможемо ходити й занурюватися в історію».
