Обучение генеративной нейросети под стиль Вильгельма Хаммерсхёй
Идея проекта
В этом проекте я решила изучить, насколько хорошо получится обучить генеративную нейросеть создавать картины в стиле датского художника Вильгельма Хаммерсхёй, известного своим поэтическим и меланхоличным стилем. В своём творчестве он чаще всего изображал полупустые помещения с одинокими фигурами, повёрнутыми к зрителю спиной, и безлюдные пейзажи в приглушенной цветовой палитре, состоящей из оттенков серого, белого, бледно-жёлтого, синего, коричневого и чёрного.
Исходные изображения для обучения
В исходном датасете для обучения генеративной нейросети я собрала 60 изображений в разрешении 1800*1800 пикселей, которые включали пейзажи, портреты, городские и интерьерные зарисовки, созданные художником.
Процесс обучения модели
После загрузки библиотек, необходимых для обучения генеративной нейросети, я создала директорию, в которую загрузила датасет, состоящий из картин художника.
Далее для каждой из картин были сгенерированы текстовые подписи, описывающие изображённое на картинах.
После этого шёл самый главный и долгий процесс — обучение модели, которое длилось больше часа.
После того, как модель прошла все шаги обучения и была выгружена на сервис Hugging Face, я приступила к написанию промптов и генерации изображений.
Результирующая серия изображений
В итоговой серии изображений мне стало интересно поэкспериментировать с тем, как у обученной нейросети получится изображать картины в разных жанрах — как в тех, в которых работал художник (пейзаж, портрет, бытовой, архитектурный), так и в тех, в которых он не работал (натюрморт, анималистический жанр).
Пейзажи
В изображениях пейзажей у обученной нейросети удалось передать характерные для художника особенности манеры письма: приглушённую охристо-серую цветовую гамму, воздушную перспективу, сдержанность композиции и безлюдность пространств.
В генерациях пейзажей получилось изобразить разные времена года: лето, осень, зиму и весну, также удалось создать городские, сельские и морские пейзажи.
Портреты
В портретах у обученной нейросети также получилось передать особенности стиля художника: серо-охристую цветовую палитру, ярко выраженную свето-теневую моделировку, глубину пространства и меланхоличность выражения лиц моделей.
На портретах получилось изобразить людей разного возраста: как их лица, так и вид со спины. Также в портреты получилось добавить детали: например, книгу в руки мальчика и цветок в руку девочки.
Бытовые сцены
В бытовых сценах у обученной нейросети тоже получилось передать особенности стиля Вильгельма Хаммерсхёй: характерную цветовую гамму из серых, бледно-жёлтых и бледно-синих оттенков, характерное для художника убранство интерьера и характерные приёмы композиции (изображения фигур, стоящих к зрителю спиной или вполоборота).
В повседневных зарисовках получилось изобразить людей разных возрастов и в разных локациях: сидящих за столом во время чаепития, любующихся картиной в коридоре, играющих на фортепиано и смотрящих в окно.
Архитектурный ландшафт
В изображениях архитектуры обученной нейросети также удалось передать особенности манеры письма художника: приглушенную цветовую гамму, ощущение застывшего момента, воздушную перспективу и вкрапление природных элементов в архитектурный ландшафт.
В архитектурных генерациях получилось попробовать разные композиции: от приближенных деталей зданий до общего плана улицы с линейной перспективой.
Натюрморты
Хотя Вильгельм Хаммерсхёй никогда не изображал натюрморты в своём творчестве, у обученной нейросети также отлично получилось справиться с поставленной задачей: в натюрмортах также прослеживаются характерные для художника стилевые приёмы: приглушённая цветовая гамма и характерные предметы интерьера (белые скатерти, деревянные стулья, светлые стены и картины, висящие на стенах).
В серии сгенерированных натюрмортов мне также захотелось отобразить сезонность: в одних натюрмортах ягоды и цветы отсылают к весне и лету, в других листья и овощи — к осени, а на последнем натюрморте мандарины и еловые ветви отсылают к зиме.
Анималистический жанр
Вильгельм Хаммерсхёй также никогда не экспериментировал с изображением животных в своём творчестве, но обученной нейросети также удалось справиться с поставленной задачей: в анималистических зарисовках прослеживаются характерные для художника стилевые приёмы: приглушённая охристо-серая цветовая гамма, домашние животные изображены в интерьерах, написанных в узнаваемой для художника манере (мы можем увидеть характерные для его стиля светлые стены, белые двери и деревянную мебель).
В изображениях животных, обитающих на улице, мы можем проследить следы пейзажного стиля художника: характерную свето-теневую моделировку, воздушную перспективу, безлюдность пространств и сдержанность композиции.
Вывод
Таким образом, обученной генеративной модели удалось передать не только особенности стиля художника в тех жанрах, в которых он работал, но также в тех жанрах, с которыми он не экспериментировал в своём творчестве.
Код