Нейромережі в кіно
Алгоритми добирають каст і пишуть сценарії
Завдяки нейромережам відео про Нью-Йорк 1911 року можна подивитися в кольорі та високій роздільній здатності. Але алгоритми допомагають не тільки реставрувати старі фільми. Нейромережі використовують на всіх етапах кіновиробництва — для передбачення касових зборів, підбору акторів, створення звукових ефектів.
Розповідаємо, як алгоритми змінюють кіноіндустрію
Рахуємо касові збори
Warner Brothers стала першою великою кіностудією, яка почала застосовувати машинне навчання під час планування зйомок. У січні 2020 року вона підписала угоду про співпрацю зі стартапом Cinelytic, який також працює зі студією STX Entertainment. Він надає ПЗ, яке аналізує прокатні показники фільмів.
Для навчання нейромережі в Cinelytic завантажили дані про касові збори фільмів, покази на платних каналах, кількість DVD-копій, а також популярність картин на піратських файлообмінниках. Потім інформацію згрупували за трьома категоріями: актори, режисери та жанри.
Система аналізує 19 чинників, які впливають на просування фільму, і показує, як кожен фактор змінює прогноз. Наприклад, що трапиться з касовими зборами, якщо замінити актора в головній ролі або скоротити тривалість фільму.
У стартапі наголошують, що Cinelytic не втручається в сценарій або творчу частину. Це бізнес-інструмент, який допомагає оптимізувати витрати.
У Голлівуді зараз ставлять на фільми з дорогими спецефектами та франшизи — попит на них легше аналізувати. Але Cinelytic може вказати продюсерам, як побудувати маркетинг або провести кастинг, щоб дати шанс артхаусним чи експериментальним фільмам.
Передбачити можна навіть відгуки критиків. Нейромережі часто використовують для прогнозування фаворитів «Оскара». Наприклад, компанія BigML проаналізувала 1288 фільмів з 2000 до 2019 року, зважаючи на рейтинги на порталах iMDB і Metascore, а також наявність інших кінонагород, наприклад, премій BAFTA і «Золотий глобус». Нейромережа визначила 5 із 8 переможців.
Алгоритми системи Bing від Microsoft теж роблять прогнози та передбачають лауреатів «Оскара». У 2013 році Bing вгадав 19 із 24 переможців, у 2014 році покращив точність до 21 із 24, а в 2018 році назвав 16 лауреатів із 17 (точність прогнозу становила 94%).
Lights, camera, data loading
Найвідоміше застосування нейромереж на зйомках — технологія заміни облич DeepFake. Вона допомагає створювати сцени з померлими акторами або змінювати вік героїв, як це робили в кіновсесвіті Marvel або в «Ірландці» Скорсезе. Дія «Ірландця» охоплює 50 років, тому головні герої з’являються в кадрі в різному віці. Але підхід режисера виключав мокап або сцени з хромакеєм.
Тому для обробки фільму створили програму Flux, яка збирала кадри й створювала маски для облич акторів. Щоб «омолодити» Де Ніро, Пачіно і Пеші, команда створила каталоги для зображень окремих частин обличчя (очі, носи, вилиці). Ці каталоги порівнювали з кадрами з фільмів, де актори грали, коли були у відповідному віці. Також для проєкту розробили нейромережу, яка переглядала архів і знаходила ідеальну відповідність. У підсумку постпродакшеном фільму займалися два роки, а бюджет картини зріс.
Існує також ПЗ, яке спрощує створення візуальних ефектів. Компанія Digital Domain, співзасновник якої — режисер Джеймс Кемерон, використовує нейромережі для фіксування особливостей рухів і мови акторів. Компанія записує всі можливі вирази обличчя десятками камер, залучаючи кілька сотень джерел світла. Потім інформацію обробляють, і Digital Domain відтворює в цифровому вигляді образ актора. Серед відомих робіт — зовнішність Таноса з «Месників» або обличчя Бреда Пітта в різному віці для «Загадкової історії Бенджаміна Баттона».
Зміни відбуваються і в звуковому дизайні. Співробітники MIT створили штучний інтелект, який здатний вгадати й згенерувати звук із кадрів відео. Науковці сподіваються застосовувати ШІ для навчання роботів, але також зазначають, що його можна використовувати для телебачення та кіно. Більшість звукових ефектів і «шумів» насправді відбувається не в кадрі, а їх записують у студії.
На відео без звуку людина стукає по дереву або шарудить листям, а нейромережа розпізнає, що відбувається, і добирає ідентичне звучання. Для створення технології в нейромережу завантажили майже 1 тис. роликів, у яких люди взаємодіють із матеріалами. Нейромережі згодували понад 46 тис. дій, які розмітили залежно від місця, способу дотику і його типу (дряпання, удар, тертя). Щоб перевірити ефективність алгоритму, творці провели онлайн-опитування. Учасники подивилися відео з природним звуком і звуком, створеним ШІ. У результаті в 40% випадків люди не відрізняли згенеровані звуки від справжніх.
Штучний інтелект може і сам створювати сценарії та знімати фільми.
Найвідоміший «машинний режисер» — нейромережа Бенджамін. Вона написала сценарій, діалоги та підібрала для кадрів вирази облич акторів, а потім змонтувала фільм за 48 годин із тисяч епізодів інших картин. Вийшов фільм жахів Zone Out. Він вийшов у 2018 році, але не вирізнявся зрозумілим сюжетом.
У 2020 році український програміст Володимир Алексєєв теж створив фільм, застосовуючи лише нейромережі. За допомогою нейромережі GPT-2 згенерував текст, а саундтрек зробила програма JukeBox. Він створив фільм «Порожня кімната».
Постпродакшн і стримінги
Кінокомпанія 20th Century Fox використовує нейромережу Merlin Video для підбору кадрів трейлера. Система шукає ключові елементи в трейлері (машини, дерева, люди, вибухи) і відзначає частоту їхньої появи. Також Merlin аналізує домінантні кольори, швидкість зміни кадрів і те, яким планом знято трейлер, що допомагає нейромережі визначити жанр фільму. Потім Merlin порівнює відео з іншим трейлером. Якщо збігів багато, нейронка надає список стрічок, які зняті в подібному стилі й теж можуть сподобатися глядачеві.
Стримінгові сервіси застосовують машинне навчання для поліпшення алгоритмів рекомендацій. Netflix впровадив ML ще 2006 року. Про ефективність такого підходу свідчить те, що 80% відео на сервісі переглянуто через систему рекомендацій, а не за конкретним запитом користувача.
Більшість рекомендацій ґрунтується на двох типах даних: оцінки та поведінка споживача (наприклад, як довго він дивився серіал, у який час, скільки серій).
Netflix ділить користувачів на 2000 груп. Крім алгоритму підбору, користувачі отримують персоналізовані постери до серіалів і фільмів, а також в описі продукту кадри з передач підбирають, проаналізувавши технічні показники картинок (яскравість, насиченість, контраст) і естетичні (композиційна рівновага).
У користувачів Hulu є більше можливостей керувати алгоритмами пошуку. У мобільному застосунку стримінгу можна вилучати вміст із повторних рекомендацій, а також видаляти фільм з історії переглядів. Тоді нейромережа Hulu забуде, що клієнт його вже дивився.
Стримінговий сервіс Disney+ запустили тільки 2019 року, але в нього є переваги над проєктами, які давно на ринку. У жовтні 2020 року Disney оголосив про реорганізацію бізнесу: тепер пріоритетом буде онлайн-стримінг, а не прем’єри в кінотеатрах. Disney належить кілька кіностудій, телеканали (ABS, ESPN), парки розваг і готелі. Це дає змогу збирати набагато більше інформації про поведінку клієнтів і об’єднувати вподобання цілої родини, не обмежуючись даними про перегляди. Про ефективність такого підходу свідчить те, що 80% відео на сервісі переглянуто через систему рекомендацій, а не за конкретним запитом користувача.
Обкладинка: Pinterest
