Эволюция создания анимации лиц CG-персонажей в кино
Концепция
Создание убедительного лица цифрового персонажа — очень трудоёмкий и коварный процесс, где одна небольшая ошибка или упущенная деталь может обернуться отторжением персонажа зрителем.
За миллионы лет эволюции человеческий мозг научился в совершенстве отличать «живое» от «не-живого», поэтому иногда цифровые персонажи и люди кажутся зрителю фальшивыми, а иногда и пугающими и «неправильными». Такой эффект называют «Зловещей долиной» — когда что-то выглядит почти как человек, но немного отличается, и из-за этого становится неприятно на него смотреть. Чем больше оно похоже на настоящего человека, но остаётся «не совсем таким», тем сильнее чувство тревоги или отторжения.
На общее впечатление от цифрового персонажа играет большую роль его мимика, артикуляция, одним словом — анимация его лица.
Лицо — самая подвижная и самая выразительная часть персонажа. По нему зритель считывает эмоцию, характер, настроение и речь героя. Часто лицо или даже часть лица (например, глаза) становятся центром композиции, показываются на крупном или сверхкрупном плане. Зритель сможет заметить самые мелкие, и казалось бы, незначительные движения: возникновение небольших складок или морщинок кожи, движение закрытых век вместе с глазами, однако именно эти движения и детали могут добавить убедительности персонажу и желания верить картинке.
Такие «нано-движения» возникают из-за особенностей строения лица: на череп крепятся мимические мышцы, которые уже в свою очередь приводят в движение вышележащие слои жира и кожу. Этот принцип «слоев» важно учитывать при создании анимации тела и лица.
В погоне за совершенством, технологии создания анимации лица постоянно улучшались, появлялись новые решения и подходы. Технологии адаптировались к разным задачам: создание цифрового клона существующего человека, омоложение актера или создание совершенного нового, но человекоподобного цифрового персонажа со своими особенными чертами лица. Сами технологии анимации тоже прошли долгий путь эволюции: от простого морфинга до сложных симуляций кожи и использования машинного обучение при захвате движений.
Визуальное исследование посвящено анализу технологий, применявшихся для анимации мимики: когда, в каких контекстах и для каких задач они использовались, а также их сильным и слабым сторонам. Структура исследования построена по аналогичному принципу: каждая глава сфокусирована на конкретной технологии, рассматривая её особенности, преимущества, ограничения и вклад в развитие анимации.
Материал был отобран на основе известных случаев создания человеческих лиц и человекоподобных персонажей с применением компьютерной графики.
Алиса в стране чудес (2010)
Режиссер: Тим Бёртон. VFX-супервайзер: Кен Ралстон.
«Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Как и большинство других выдуманных и фантастических существ в фильме «Алиса в Стране Чудес», человекоподобные близнецы Траляля и Труляля были CG-персонажами. Однако, для создания их движений мокап использовался как референс, а сама анимация создавалась покадрово, вручную.
«Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
«Близнецы представляли собой настоящих гибридов: глаза, нос и рот Мэтта Лукаса были объединены с покадровой анимацией, при этом в качестве ориентира снова использовалась технология захвата движения (MoCap).»[1]
— Дейв Шауб, супервайзер анимации
Карикатурные и фантастические черты лиц близнецов потребовали внимательной адаптации отснятых движений, чтобы анимация соответствовала объёму и физике их лиц. Тесты, где использовался motion capture, были отвергнуты режиссёром[3], поэтому команде VFX пришлось искать «гибридное» решение. Хоть сама анимация лица была выполнена вручную, глаза и рот были отсняты и наложены на финальный рендер с цифровым персонажем. Важно отметить, что игра актера использовалась именно как референс.
«В конечном итоге в финальном рендере используется фотографическое изображение лица Мэтта Лукаса.»[1]
— Дейв Шауб, супервайзер анимации
VFX-брейкдаун. // «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Достичь физически-корректной и убедительной мимики у столь гипертрофированных персонажей было возможно только при помощи анимации.
Скриншот из Autodesk Maya. // «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Для создания лиц близнецов голова актёра была предварительно отсканирована, а топология его лица — интегрирована в 3D-модель. Дополнительно были захвачены ключевые выражения лица, которые использовались в качестве референсов на этапе риггинга. [2]
Сканы выражений лица актера // «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Ручной перенос эмоций на CG-персонажа. Сканы актера используются как референс // «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Анимационные контроллеры (animation controls) были настроены так, чтобы любое выражение лица можно было воспроизвести с помощью соответствующего слайдера. Каждый слайдер управлял конкретной областью лица. Игра Мэтта Лукаса была вручную перенесена в анимацию для достижения максимального сходства с референсом. Когда нужная мимика была воссоздана, фотографические элементы глаз и рта проецировались на CG-персонажа. Важно было сохранить фотореалистичность, чтобы движения и объёмы за пределами вставленных областей плавно и естественно переходили в остальную поверхность лица.[2]
Скриншот из Autodesk Maya. Справа — панель каналов (Channels) // «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Каждый канал в панели Channels отвечает за деформацию определенной области лица. Увеличение значения каждого канала вызывает оперделенное мимическое движение.
VFX-брейкдаун. Игра актера используется как референс. // «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
В заключение, фильм «Алиса в Стране Чудес» представляет собой удачный пример использования ручной анимации мимики CG-персонажей. Такой подход был выбран с целью сохранить эстетику гипертрофированных образов, а также передать особенности физики и анатомии их лиц.
Безусловно, из-за измененных, но сохраняющих черты человеческих лиц, у зрителя может возникнуть эффект зловещей долины. Однако, в контексте абсурдной атмосферы и визуальной стилистики фильма такое ощущение выглядит оправданным и уместным.
VFX-брейкдаун, демонстрирующий полный процесс создания Близнецов. «Алиса в Стране Чудес» (2010). // VFX-супервайзер: Кен Ралстон
Малефисента (2014)
Режиссер: Роберт Стромберг. VFX-супервайзер: Кэри Вильегас.
Студия визуальных эффектов Digital Domain получила задачу — создать реалистичных и убедительных цветочных фей-пикси.[4] Сложность заключалась в том, что феи появлялись в двух образах: как пикси, с немного изменёнными чертами лица (например, слегка увеличенными глазами), и как обычные люди. Зритель должен был без труда узнавать персонажей в обоих обликах, чтобы не возникало путаницы в восприятии истории.
При этом важно было, чтобы компьютерная графика выглядела естественно и не вызывала отторжения. Так же проблема заключалась в том, что окончательный дизайн пикси на момент съемок еще не был утвержден.
«Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
Примечательно, что студия Digital Domain создала идентичных цифровых двойников актрис. Они были нужны только для внутренней работы — зритель их не увидит в финальной картины. Такое решение (создать цифровых двойников) решало достаточно широкий спектр проблем.
Во-первых, на цифровой копии аниматоры могли доработать мимику, полученную после обработки данных захвата движения. Делалось это на двойнике, чтобы исключить тот факт, что ошибки в движениях были ошибкой актрисы или мокапа. Если бы анимацию сразу бы переносили на модель пикси, то было бы сложно сказать причины неестественных движений, т. к. пикси имеет немного отличные от человека пропорции (глаза фей были незначительно больше, а нос — меньше. Но в конкесте эффекта зловещей долины такие незначительные «отклонения» могут стать фатальными, если мимика не будет подходить персонажу). [4]
Во-вторых, цифровой двойник позволял создать «ассеты» анимации, которые в дальнейшем могут быть ретаргетированы на любую версию CG-персонажа. Иными словами, аниматорам не придется переделывать свою работу с каждой правкой в дизайн персонажа. [5]
Ретаргентинг. VFX-брейкдаун // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
«Одним из ранних решений было создать полностью фотореалистичного цифрового актёра. В долгосрочной перспективе это оказалось очень эффективным решением, поскольку нам всё равно требовалась анимация лица и проработка реплик, тогда как финальное утверждение образов пикси мы получили лишь на позднем этапе. Нам нужно было продолжать работу, несмотря на то, что дизайн персонажей ещё не был окончательно утверждён. (Создав цифрового актёра), мы смогли перенастраивать любую анимацию, адаптируя её под актуальный дизайн пикси — с учётом мышечной структуры, костного строения и пропорций.»[5]
— Кэлли Порт, супервайзер визуальных эффектов Digital Domain
Ассет головы актриссы, цифровой двойник. // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
«После того, как актёры завершили съёмки, а монтажная группа выбрала нужные дубли, мы проанализировали отснятый материал, используя данные с камер, направленных на лицо. Мы произвели трекинг всех маркеров на лице актёров и создавали анимированное 3D-облако точек, точно передающее мимику. Затем, с помощью нашей собственной системы лицевой анимации <…> это облако точек переносилось на риги персонажей. В результате мы получали анимацию лица персонажа, максимально близкую к игре актёра. Хотя это был не финальный вариант, он служил отличной основой для дальнейшей доработки аниматорами.» [5]
— Даррен Хендлер, супервайзер цифровых эффектов.
Слева: съемка мимики при помощи камер, закрепленных на голове. Справа: Персонаж с перенесенной анимацией // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
VFX-брейкдаун // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
Началом создания лицевой анимации послужил трекинг около 200 маркеров на лице. Захват производился при помощи системы камер Disney Medusa[4,6], которые были прикреплены к специальному шлему. Далее, производился трекинг отснятых черных маркеров. Полученная информация представляла собой набор точек в 3D-пространстве, которые двигались точно так же, как и маркеры на лице актрисы. Полученная информация переносилась на риг лица цифрового дублера и дорабатывалась вручную, чтобы анимация смотрелась убедительнее и естественнее.
«Поскольку на лице множество мышц, которые одновременно сокращаются и расслабляются с перекрывающимися временными интервалами, переход от выражения A к выражению B не происходит линейно. Поэтому чрезвычайно полезно видеть этот переход в виде трёхмерной записи, в виде мэша.»[4]
— Гэри Робертс, супервайзер цифрового продакшена студии Digital Domain.
Для анимации было создано около 3000 шейпов лица (face shapes) цифрового двойника — моделей лица с различными выражениями мимики. Также были настроены специальные шейдеры, позволяющие аниматорам в реальном времени наблюдать движение морщин на лице ещё до финального рендера. Это дало возможность более точно подбирать ключевые позы для диалогов и других мимических движений.
Мимика персонажа и мимика цифрового двойника // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
Демонстрация возможностей мимики CG-персонажа // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
В отличии от Близнецов из «Алисы в Стране Чудес», где глаза являлись отснятым на камеру материалом, глаза цветочных пикси пришлось воссоздавать вручную, поскольку они плохо сканировались. На анимацию движения глаз стоило уделить особо много внимания, ведь глаза — первое, на что смотрит зритель.
CG глаза. VFX-брейкдаун // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
Подводя итог, анимация мимики цветочных пикси для фильма «Малефисента» оказалась крайне ресурсоемким процессом, требующим тщательного планирования и множества «итераций». В отличии от «Алисы в Стране Чудес», в этом проекте использовались данные с трекинга маркеров лиц актеров, которые после дорабатывались аниматорами. После того, как на цифровом двойнике мимика утверждалась, ее ретаргетили на CG-модель пикси. Такой подход успешно вписался в сложную систему продакшена и постпродакшена на проекте, а так же позволил добиться крайне правдоподобной анимации лиц.
Полный процесс создания мимики пикси: от съемок до финального рендера. VFX-брейкдаун // «Малефисента» (2014) // VFX-супервайзер: Кэри Вильегас
Человек-муравей и Оса: Квантомания (2023)
Режиссер: Пейтон Рид. VFX-супервайзер: Аксель Бонами.
Для создания анимации главного антагониста кинобоевика «Человек-муравей и Оса: Квантомания», который, по сути, является огромным летающим лицом, студия Digital Domain использовала технологию, которую они разработали для последних фильмов серии «Мстители» — Masqurade 2.0.
«Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами.
Основной задачей этой системы является трекинг и перенос полученных данных на CG-модель. Ключевой особенностью систем Masqurade являются машинное обучение. Заложенное в эту систему компьютерное зрение позволяет в автоматическом режиме определять, что является «маркером», а что — нет.[7] Иными словами, Masqurade 2.0, за счет встроенного ИИ и модуля FACS (Facial Action Coding System), автоматизирует процесс трекинга, перенося полученные после трекинга данные на 3D модель. Важно понимать, что Masqurade в большей части использует именно компьютерное зрение, а не генеративные системы.
Трекинг маркеров, выполненный при помощи Masqurade 2.0 // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
После того, как технология Masqurade 2.0 более, чем успешно, зарекомендовала себя на фильме «Мстители: Финал», Digital Domain внедрили эту систему в свой рабочий пайплайн. Фильм «Человек-муравей и Оса: Квантомания» не стал исключением.
Как и персонажи, описанные раннее (Близнецы из «Алисы в Стране Чудес» и пикси из «Малефисенты»), M.O.D.O.K. имел очень схожие, но измененные пропорции лица. Так же сам персонаж должен был создавать ощущение «громоздкой» головы (чего было бы сложно добиться простым ре-таргетингом). Еще одним ограничением выступало само кресло персонажа, которое так же было и подобием шлема, ограничивающего резкие повороты и движения головы. При всех этих ограничениях и решениях в дизайне было важно сохранить актёрскую игру и узнаваемость самого актера.
Слева: перенесенная анимация на CG-персонажа и футаж со съемок лица актера. Справа: финальный рендер // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Демонстрация возможностей мимики CG-персонажа // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
«Это было крайне сложной задачей, потому что, как только начинаешь искажать лицо, оно тут же приобретает стилизованный вид. Пейтон хотел, чтобы, внешность актёра сохранялась максимально узнаваемой, несмотря на искажения. Мы тщательно анализировали каждый кадр и постоянно пытались понять, в чём заключается проблема с моделью и почему она возникает. Иногда нам приходилось корректировать анимацию лица, чтобы компенсировать искажения, а иногда — вносить изменения в визуальную разработку (lookdev).»[8]
— Рон Миллер, супервайзер по созданию моделей лица студии Digital Domain.
Процесс съемки мимики актера // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Основой анимации мимики CG-персонажа стали данные, полученные с камеры, закрепленной на голове актера. (head-mounted camera). На лицо актера черным фломастером были нанесены маркеры, как и в предыдущих случаях, описанных на примере фильмов «Алиса в Стране Чудес» и «Малефисента». Ключевое отличие заключалось в том, что треккинг и перенос данных на ассет лица актера происходил при помощи модулей искусственного интеллекта системы Masqurade 2.0. Это позволило аниматорам автоматизировать монотонные процессы и уделить больше времени и сил на более творческие задачи.[8]
Слева: VFX-брейкдаун. Справа: финальный рендер // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Демонстрация работы Masqurade 2.0. Данные, полученные после трекинга мареков, переносятся на CG-персонажа // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Полученные из Masquerade 2.0 данные применялись сначала на ассет головы цифрового двойника. Мимика дорабатывалась аниматорами и уже после этого переносилась на персонажа.
Ассет головы актера, цифрового двойника // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Сравнение лица персонажа и лица цифрового двойника // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Дизайн шлема персонажа достаточно сильно зажимал лицо, поэтому аниматорам приходилось искать решения для челюсти. Помимо перенесенной мимимки, аниматорам вручную пришлось убирать излишне экспрессивные движения и жестикуляцию, назначив в Maya специально собранные деформеры. Так же в Maya аниматоры установили дополнительные констрейны (constrains — ограничения движений по какому-либо правилу) на челюсть персонажа, чтобы ограничить её движения в тесной среде.[9]
Слева: мимика цифрового двойника, справа: мимика персонажа с измененными пропорциями лица // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Было создано около 200 блендшейпов, которые смешивались между собой, составляя определенное выражение лица. Поверх этих «смешиваний» создавалась ручная анимация, референсом для которой послужила игра актера. «Это был настоящий челлендж, но очень весело», говорит Джесси Джеймс Чизхолм, супервайзер визуальных эффектов.[10]
Кроме того, особое внимание пришлось уделить глазам. Художники по визуальным эффектам детально изучали анатомию человеческого глаза, чтобы добиться визуального увеличения без потери реалистичности. Используя Maya для моделирования и Mari для создания текстур, художники воссоздали глаза персонажа с высокой точностью — вплоть до слёзных протоков и внутренних складок.[10]
CG-глаза // «Человек-муравей и Оса: Квантомания» (2023) // VFX-супервайзер: Аксель Бонами
Несмотря на использование технологий машинного обучения, общая структура работы на проекте для Digital Domain осталась прежней. Masquerade 2.0 автоматизировала рутинные задачи, такие как трекинг и перенос данных на ассет головы актёра, но финальная анимация CG-персонажа всё так же требовала участия аниматоров.
«Используя Masquerade, мы всегда разрабатываем диапазон движений для нашего машинного обучения, который будет соответствовать большинству требований к мимике. Это отлично сработало в случае с ассетом лица Кори (Столла), но его необходимо было максимально точно передать в лице персонажа M.O.D.O.K. Глаза, нос и рот полностью соответствуют изображению Кори, но из-за изменения пропорций нам пришлось разработать систему отображения масштабов, чтобы учесть разницу в пропорциях между этими двумя лицами. Только после этого мы смогли по-настоящему изучить мимику и все взаимосвязи на лице (персонажа). Например, расположение губ по отношению к зубам и деснам и радужной оболочки по отношению к векам. Все это может показаться излишним, но, если не обращать внимания на такие мелочи, может возникнуть ощущение неестественной мимики.»[8]
— Рон Миллер, супервайзер по созданию моделей лица студии Digital Domain
Заключение
Человеческое лицо и любые его человекоподобные аналоги представляют собой сложную и систему. Лицо деформируется нелинейно и неоднородно, движение одной мышцы точно потянет за собой и другие, а натянутая поверх них кожа будет морщиться. Передача всей этой выразительности в компьютерной графике — одна из самых трудоёмких задач. Анимация мимики для цифрового персонажа требует целого комплекса технологий: от захвата лицевых движений до систем машинного обучения. Тем не менее, участие человека остаётся решающим. Опытные аниматоры продолжают играть ключевую роль на всех этапах — они корректируют неточные данные, добавляют нюансы в выражения, придают образу правдоподобие и эмоциональную глубину.
Bill Desowitz Revisiting 'Alice in Wonderland' / Bill Desowitz [Электронный ресурс] // Animation World Network: [сайт]. — URL: https://www.awn.com/vfxworld/revisiting-alice-wonderland (дата обращения: 13.05.2025).
Sony Imageworks ALICE IN WONDERLAND Behind the Scenes-- Meet the Tweedles / Sony Imageworks [Электронный ресурс] // Youtube: [сайт]. — URL: https://www.youtube.com/watch?v=W4v6dPNz6l4 (дата обращения: 13.05.2025).
Blending VFX styles in «Alice in Wonderland» / [Электронный ресурс] // LA411: [сайт]. — URL: https://la411.com/blog/post/visual-effects-mix-makes-wonderland-magical (дата обращения: 13.05.2025).
Mike Seymour The many faces of Maleficent / Mike Seymour [Электронный ресурс] // FXGuide25: [сайт]. — URL: https://www.fxguide.com/fxfeatured/maleficent/ (дата обращения: 14.05.2025).
Dan Sarto and James Gartler The Flying Pixies and Digi-Doubles of ‘Maleficent’ / Dan Sarto and James Gartler [Электронный ресурс] // Animation World Network: [сайт]. — URL: https://www.awn.com/vfxworld/flying-pixies-and-digi-doubles-maleficent (дата обращения: 14.05.2025).
Medusa Performance Capture / [Электронный ресурс] // Disney research: [сайт]. — URL: https://la.disneyresearch.com/medusa/ (дата обращения: 14.05.2025).
Mike Seymour Masquerade at Digital Domain / Mike Seymour [Электронный ресурс] // FXGuide25: [сайт]. — URL: https://www.fxguide.com/fxfeatured/masquerade-at-digital-domain/ (дата обращения: 15.05.2025).
Vincent Frei Ant-Man and the Wasp — Quantumania: Frankie Stellato (Animation Supervisor) and Ron Miller (Facial Modeling Supervisor) — Digital Domain / Vincent Frei [Электронный ресурс] // Art of VFX: [сайт]. — URL: https://www.artofvfx.com/ant-man-and-the-wasp-quantumania-frankie-stellato-animation-supervisor-and-ron-miller-facial-modeling-supervisor-digital-domain/ (дата обращения: 15.05.2025).
How Digital Domain Went Full CG to Create M.O.D.O.K. for ‘Ant-Man and The Wasp: Quantumania’ / [Электронный ресурс] // Digital Domain: [сайт]. — URL: https://digitaldomain.com/news/how-digital-domain-went-full-cg-to-create-m-o-d-o-k-for-ant-man-and-the-wasp-quantumania/ (дата обращения: 15.05.2025).
Ian Failes The making of M.O.D.O.K. / Ian Failes [Электронный ресурс] // befores& afters: [сайт]. — URL: https://beforesandafters.com/2023/03/07/the-making-of-m-o-d-o-k/ (дата обращения: 15.05.2025).
Алиса в стране чудес (Alice in Wonderland, реж. Тим Бёртон, 2010)
Малефисента (Maleficent, реж. Роберт Стромберг, 2014)
Человек-муравей и Оса: Квантомания (Ant-Man and the Wasp: Quantumania, реж. Пейтон Рид, 2023)
URL: https://www.youtube.com/watch?v=W4v6dPNz6l4 (дата обращения: 15.05.2025).
URL: https://www.awn.com/vfxworld/revisiting-alice-wonderland (дата обращения: 15.05.2025).
URL: https://www.youtube.com/watch?v=FtifBqf2Z50 (дата обращения: 15.05.2025).
URL: https://www.fxguide.com/fxfeatured/maleficent/ (дата обращения: 15.05.2025).
URL: https://www.youtube.com/watch?v=ls29dPeOy-A (дата обращения: 15.05.2025).
URL: https://www.awn.com/vfxworld/flying-pixies-and-digi-doubles-maleficent (дата обращения: 15.05.2025).
URL: https://www.imdb.com/title/tt1587310/mediaviewer/rm2361837824/?ref_=ttmi_mi_6 (дата обращения: 15.05.2025).
URL: https://www.youtube.com/watch?v=NuEjkh8tXBM (дата обращения: 15.05.2025).
