Картины мировых художников в стиле видеоигры Sims
Концепция проекта
Идея моего проекта заключается в обучении нейросети воссоздавать известные картины мировых художников в стиле игры The Sims.
Концепция проекта заключается в создании диалога между реальностью и виртуальностью. Трансформация знаменитых картин мировых мастеров в стиль игры The Sims позволяет исследовать контраст между реализмом оригиналов и игривой эстетикой цифрового мира. Эти произведения искусства, изначально символизирующие каноны и идеалы своих эпох, через игру обретают новое восприятие, подчёркивая, как технологии и культура меняют восприятие традиционного искусства в современном мире.
Исходные изображения
Видеоигра The Sims 3
Видеоигра The Sims 4
Видеоигра The Sims 4
Итоговая серия изображений:
prompt: painting Girl with a pearl earring by Jan Vermeer
prompt: painting self-portrait by Vincent van Gogh
prompt: painting American Gothic by Grant Wood
prompt: painting Lady with an Ermine Leonardo da Vinci
prompt: painting The Sistine Madonna Raphael
Описание:
В итоговой серии изображений представлено пять картин известных художников в стилистике игры The Sims: «Девушка с жемчужной сережкой» Вермеер, «Автопортрет» Ван Гог, «Американская готика» Грант Вуд, «Дама с горностаем» Леонардо да Винчи и Сикстинская мадонна Рафаэля.
Получилось передать стилистику игры через характерную графику людей (черты лица, кожа, волосы), пропорции человека (особенно видно по рукам), элементы одежды (они выглядят как не детализированная текстура, что характерно для игры). А также пикселизация изображений, как в игре.
Детали
Результаты соответствуют первоначальной идеи. Я задумывала показать содержимое картин через призму игры. Думаю нейросеть справилась. Но конечно, есть некоторые моменты, как удвоение предметов и тд. Но нейросеть интересно передала разные эпохи через стиль игры.
Я пробовала дополнительно изменять параметры воздействия стиля LoRa, но оказалось, что изначально вышло лучше.
В коде можно увидеть, что у меня получилось несколько вариаций одного изображения, я использовала для презентации лучшие.
Еще варианты по картинам: «Автопортрет» Ван Гога и «Девушка с жемчужной сережкой» Яна Вермеера
Получилось интересно передать эпохи изображенного на картинах, детали (такие как украшения или горностай) и поиграть с реальностью и виртуальностью. А также рассмотреть искусство под новым углом, в доступной для нас форме. Получилось забавно и интересно.
Процесс обучения:
Для обучения применялась модель Stable Diffusion XL, с использованием DreamBooth и LoRA для обучения.
Сначала я создаю папку с изображениями на основе которых будет обучаться модель. Это папка состоит из 35 картинок и скринов из игры The Sims 3 и The Sims 4.
После этого подгружаю эти изображения.
Создаю пользовательские подписи с помощью BLIP
Потом регистрируюсь на сайте Hugging Face и получаю токен, для хранения модели, которую я обучила. А дальше заполняю скорость, разрешение и другие параметры для обучения. Само обучение у меня заняло 38 минут.
После обучения я подхожу к генерации самих изображений. Вызываю модель с промптом «photo in SIMS style». Я отобрала несколько картин, где хорошо видно лицо и черты, чтобы нейросети было легче это переработать. (Вот с Джакондой не получилось)
Итог
Я думаю получилось интересно и забавно. Я рада, что совместила любимую игру с любимыми картинами. Нейросеть интересно передела лицо и части тела, даже одежду, которые ассоциируются с игрой. Есть и что дорабатывать. Она пока не очень хорошо генерирует одного человека и отдельные элементы, либо дублирует их и наслаивает, либо размазывает. Для этого необходимо больше времени и погружения в детали кода.
Чувствую, что получилось перенести нас в иную реальность, где мы чувствуем азарт, погружаясь во вселенную симс и при этом, разглядываем лица, детали и эпохи, знакомые нам из искусства.
Использовались: Stable Diffusion XL — нейросеть для обучения. Hugging Face — использовался для получения токена и выгрузки модели. Также использовались DreamBooth и LoRA на T4 GPU. Для генерации видео Runway, а для экспорта в гиф Adobe Express.