Том Хэнкс, ИИ и вечная молодость
В 2024 году на мировые экраны вышел новый фильм Роберта Земекиса, который даже после провала его идеи с фотореалистичными мультиками, сделанными с помощью технологии моушн капче, продолжает баловаться новыми технологиями. В этот раз Земекис использовал ИИ. И снова не очень удачно. Целых 53 минуты экранного времени его проекта «Тогда. Сейчас. Потом», рассказывающего об истории одной точки на планете Земля, мы видим четырех персонажей, лица которых были модифицированы, вернее, омоложены на разное количество лет.
Картина состоит из статичных шотов продолжительностью до 4 минут. Четыре главных актера проекта: Том Хэнкс, Робин Райт, Пол Беттани и Келли Райлли проживали жизни своих персонажей на протяжении 40 лет.
«Очевидно, мы не могли использовать традиционные методы, — говорит VFX супервайзер проекта Кевин Бэйлли. — Потому что это было бы неэкономично и медленно, плюс мы рисковали оказаться в мрачной долине. С традиционными методами у нас не было решения для требуемого уровня реалистичности, убедительности и стабильности на протяжении всего фильма».
Команда не хотела обставлять актеров дополнительными камерами и рисовать на них маркеры, поэтому было решено использовать машинное обучение и нейросеть.
Первый тест
Сначала было проведено тестовое омолаживание Тома Хэнкса, которое позволило загринлайтить проект.
Том Хэнкс сыграл одну из сцен фильма в фейковой декорации в студии Panavision. Эти кадры и отправили разным студиям. Задача состояла в том, чтобы превратить 67-летнего актера в 25-летнего. Эта тестовая работа была оплачена. Кроме Хэнкса на площадке работали два дублера разных возрастов, повторяющих игру Хэнкса и его движения, чтобы посмотреть, можно ли избежать замены рук, шеи и ушей.
Компания Metaphysic выиграла этот проект, их Хэнкс выглядел, как в фильме «Большой». На этом этапе стало понятно, что использование дублеров не подойдет.
«Несмотря на все усилия и участие Хэнкса в съемках, слишком явно было видно, что это не Том, — говорит Бэйлли. — Мне кажется, увидев этот фильм, люди начнут теплее относиться к ИИ. Он не работает без актера в кадре, без его души и харизмы. Главным для нас было то, что в каждом кадре фильма — именно этот актер и его игра на экране».
Подход к омолаживанию
Для начала следовало обучить нейросетку. Студия Metaphysic применила свой инструмент Neural Performance Toolset. Главным здесь была информация. Были собраны предыдущие работы актера в данном возрасте, семейные фотографии, фото с премьер и официальные фотосессии. Все это было «скормлено» нейросетке.
«Обучение нашей нейросети основано на фотографиях, — рассказывает VFX супервайзер Metaphysic Джо Плэт. — В случае с Хэнксом у нас было огромное число фильмов, которые он сделал в том возрасте, и мы внедрили их в нашу систему. У нас был инструмент, который „вырезал“ его из этих фильмов и подготавливал данные. Он собирал данные по выражениям лица, позам и освещению. Эти датасеты потом отправились нашим специалистам по визуальным данным».
«Я объясню, — продолжает Плэт, — обычно мы сначала моделим ассеты, освещаем, рендерим, и так далее. Но в этом случае все ассеты — это процесс создания визуальных данных. И я хочу отдельно отметить, что это все-таки требует артиста, который сядет с нами и пройдет через этот процесс. Это просто еще один набор инструментов. Это больше похоже на курирование данных: сколько ИИ изучает их, по каким параметрам и на какой стадии ты их отдаешь нейросети. Это как симуляция физики».
Процесс работы команды студии Metaphysic включал натаскивание нейросети на генерацию лиц персонажей в разных возрастах.
«Это своего рода обучение отделений этой нейросети на подразделах датасетов, чтобы в итоге получался, скажем, Том Хэнкс в 18, 30 или 45 лет, — объясняет Плэт. — У нас также была обратная задача — состарить Робин Райт до 80 лет. Это немного другой подход хотя нейросеть такая же. И время от времени мы звали наших ИИ инженеров, чтобы они корректировали архитектуру нейросети».
Такая коррекция необходима, потому что нейросеть в какой-то момент начинала выдавать двоюродного брата Тома Хэнкса. А зрители очень хорошо знают лицо этого актера, и целью студии было 100% сходство. Поэтому над его лицом работала целая команда: инженеры машинного обучения, исследователи визуальных данных и артисты. Вместе они работали над изображением, но вместо 3D рендера они изменяли саму нейросеть и выводили изображение, которое потом уходило на композитинг.
На съемочной площадке команда студии Metaphysic провела короткие сессии по сбору данных с актерами, которых предстояло омолодить или состарить — в тех условиях освещения.
«Нам были нужны некоторые дополнительные позы тела и мимика лица, — объясняет Плэт. — Чтобы дать понять нашей нейросети, как это лицо себя ведет и выглядит в конкретных условиях освещения».
Омолаживание в реальном времени
Омолаживание проводилось не в изоляции где-то в студии, Роберт Земекис хотел, чтобы актеры участвовали в процессе. Им показывали результаты работы нейросетки, и они сами могли откорректировать результат своей игры.
«Помню, когда мы впервые показали результаты Робин Райт, — говорит Бйэлли. — Мы снимали наш разговор на камеру RED, а потом исчезли на месяц. И я показал ей полученное изображение. Она сказала: „Я думала, как мне изобразить невинность своей юности на сегодняшнем лице, и долго об этом переживала. И это мне помогло“. И мы внесли это в ИИ. Она поняла, как ИИ может помочь ей вернуться во времени».
Частью работы студии Metaphysic было распознавание элементов лица, его физиологии в виде основных контуров.
Это также помогло генерить превью омолаживания прямо на съемочной площадке. Особенно — с омолаживанием движения тела.
«Очень сложно оценить, правильно все сделано или нет, пока не увидишь это на экране, — продолжает Бэйлли. — Этот процесс помог нам убедиться, что язык тела актера совпадает с его движениями в требуемом возрасте. Каждый раз после завершения дубля Том Хэнкс бежал к монитору, чтобы увидеть себя. И все время говорил: „Окей, вот тут я слишком деревянный, а тут надо больше выпрямиться, а тут я перестарался с изображением молодости“.
Это превратилось в инструмент для актеров, которые с его помощью смогли скорректировать свою работу. Этот процесс помог и режиссеру, и даже департаменту грима и причесок и художнику по костюмам».
У команды Metaphysic уже был опыт работы на площадке в реальном времени, но в случае с фильмом «Тогда. Сейчас. Потом» им пришлось ее кардинально доработать. Два супервайзера созвонились в Zoom и провели тестовую сессию замены лица прямо в Zoom, чтобы показать, как это будет выглядеть.
В системе реального времени использовались только данные с главной камеры, никаких дополнительных камер задействовано не было.
«У нас был один источник данных — это SDI видеопоток с камеры, у нас была небольшая кабинка рядом с декорацией, где находились все наши GPU и команда из четырех человек», — говорит Бэйлли.
«У нас было 100 или 200 миллисекунд на генерацию результатов, — уточняет Плэт. — Нужно было связать все наши этапы в одну цепочку и оптимизировать как можно быстрее. Это было как хакатон. Мы обучали модели низкого разрешения, но вывод был довольно быстрый. Модель высокого разрешения занимает секунду на кадр, что все-таки сильно отличается от 24-часового рэйтрейсинга, который происходит в VFX».
Чтобы удостовериться, что лицо узнается и «наклеивается» на соответствующего актера, команда также установила инструмент для распознавания лиц. Результат распознавания возвращался инструменту замены лица, который менял лица на оптимизированные модели вместе с разметкой для этого лица и маской. Это все передавалось на этап композитинга в реальном времени, в инструмент, являющийся оптимизированной версией внутристудийной разработки по переносу цвета и отдельных элементов, которую используют в Nuke.
Инструмент идентификации работал, чтобы удостовериться, что лица «приклеиваются» соответствующим актерам, и нейросеть их не перепутала.
«У нас был монитор, который показывал кадры с камеры и еще один, который отставал на шесть кадров, но показывал омоложенных актеров, — рассказывает Бэйлли. — Для него мы сдвигали аудиодорожку на шесть кадров, чтобы липсинг совпадал. Это классный инструмент. Однажды Рита, жена Тома Хэнкса, пришла на площадку, и сказала, что это Том, когда они только познакомились. Система очень компактная, надежная, это самая ненавязчивая для съемочного процесса технология визуальных эффектов, с которой мы когда-либо работали. Но ее вклад в эмоциональное наполнение сцен был невероятным».
Сам Роберт Земекис постоянно обращался к монитору с замененными лицами, что стало предметом гордости для VFX команды. После каждого дубля актеры анализировали, работает ли выражение лица с этим движением тела и изменяли свою работу в следующем дубле.
Искусство монтажа
Главная сложность в применении нейросетей заключается в том, что зачастую нейросеть — это черный ящик, корректировать работу которого очень проблематично. Поэтому студия Metaphysic специально сделала так, чтобы ее инструменты были максимально управляемыми.
Даже аниматоры студии работали не в Maya, а в Nuke, чтобы удостовериться, что результат обновленных кадров как можно ближе к тому, что планировали актеры.
«Я называю их нейроаниматорами, — говорит Плэт. — Возможно, они первые в своем роде. Они монтируют в Nuke, в реальном времени. Они видят финальный фотореалистичный результат, а когда они перемещают объекты, это сразу отражается на финальной картинке. Им нравится, что фидбэк мгновенен. Поскольку мы в фотореалистичном мире, мы миновали Мрачную долину. Кажется, за этим инструментом будущее».
Иногда эти натренированные нейросети совершают ошибки в интерпретации исходного изображения. Например, с возрастом наши веки опускаются вниз, а нейросеть может интерпретировать это как прищур. Или при быстрой речи некоторые движения губ могут попадать между кадрами. Тогда ИИ тоже ошибется. Нейросеть делает все, что может, но иногда все-таки ее интерпретация не совпадает с исходной игрой актера. Однако, инструменты команды Metaphysic позволят вернуться назад к исходному изображению и откорректировать работу ИИ, заставив его сделать нечто другое. Это инструменты анимации, позволяющие дотягивать последние 2%, которые мы бы все равно делали в процессе замены лица на CG версию. Но в случае с ИИ VFX артисты получают предыдущие 98% в десять раз быстрее.
«Это можно сравнить с технологией блендшейпов, где у нас есть бегунки для управления топологией, — объясняет Плэт. — Эти бегунки заставляют нейросеть изменить результат в виде слоя поверх уже сгенерированного изображения, который получается из отснятого материала. Можно изменить направление взгляда, например. Земекис любит, чтобы актеры заигрывали с камерой, но не смотрели в нее, а нейросети автоматически корректируют направление взгляда в камеру. И когда мы показывали ему первую версию, он попросил это исправить».
Проблема с ракурсами
Особую сложность для процесса омолаживания представляют собой кадры, в которых актер смотрит в сторону, а не прямо. То есть, большая часть его лица не видна на камеру. Или в которых актер быстро двигается, и все изображение превращается в размытое. Их тоже предстояло корректировать.
Конечно же, команда студии Metaphysic была к этому готова. Это еще 10%, на которые требовалось обратить особое внимание. Одной и самых сложных сцен была та, в которой омоложенные актеры целовались. Пришлось закрашивать лицо того, кто закрывал партнера, и сначала заменить дальнее лицо, а потом уже заново положить второе лицо поверх. Или, когда актер отворачивается от камеры на три четверти и там не за что «зацепиться», в этой ситуации приходится тречить трехмерную цифровую голову и проецировать на нее последний хороший кадр модифицированного лица. И уже эта трехмерная голова несла это лицо в такой ракурс, с которым ИИ не мог справиться. Так что, ограничения ИИ потребовали вкрапления более традиционных VFX технологий.
Чтобы заткнуть эти «дыры» в Metaphysic создали набор инструментов для модификации датасетов. Эти инструменты позволяли синтезировать те части датасетов, которых не хватало.
«Мы также обучили набор моделей для усовершенствования изображения, — рассказывает Плэт. — Эти нейросети работают в Nuke, и у композеров есть к ним доступ. Это особый набор инструментов, который работает над неполными или нерезкими кадрами и восстанавливает недостающие элементы изображения».
Все инструменты Metaphysic работают в Nuke, давая композерам возможность подправить результаты. Там же можно провести новую замену лица через сервер, где работает ИИ. Артисты могут задействовать дополнительные модели, формы, когда необходимо применить 2,5D подход и восстановить то, что не вышло у нейросетки. В фильме есть примеры очень творческого композитинга.
Состаривание
Большая часть работы требовала омолаживания, но для некоторых кадров также потребовалось и состарить Робин Райт. Художник по гриму Дженни Ширкор сделала пластический грим и для состаривания, и для омоложенных персонажей.
Например, здесь Робин Райт в состаривающем гриме, который позже сравнили с синтезированными нейросеткой изображениями. Потом была проведена коррекция грима с опорой на синтезированные кадры.
Для обучения нейросети были также заняты и актеры в требуемом возрасте с похожей на Райт лицевой структурой. Команда студии Metaphysic провела с ними съемку для сбора данных о текстуре кожи, морщин и работы мышц в нужном возрасте.
«Мы смешивали эти данные с данными Робин, — говорит Плэт, — которые мы также состаривали с помощью других нейросетей. Мы синтезировали состаренную Робин Райт, но для реализма „примешивали“ к ней реальных людей нужного возраста. И этот синтез производился поверх реального грима».
Джо Плэт также отмечает, что сотрудничество его студии с департаментом грима и причесок было очень плотным, потому что грим передавал понимание временного интервала, который был основой сцены. «Мы не хотели уничтожать работу отдела грима, — говорит он. — Мы работали вместе над обучением нашей нейросети, чтобы грим остался в наших датасетах».