Обучение генеративной нейросети в стиле Энди Уорхола
Концепция
Энди Уорхол — художник, чьи работы стали неотъемлемой частью искусства XX века.
Он брал массовое, обыденное, повторяемое и превращал это в объект созерцания.
Его стиль — одновременно безразличный и пронзительный, поверхностный и глубокий. Он не столько говорил зрителю, сколько показывал. А в этом молчании, в этой эстетике серийности и тиража, угадывалась глубокая ирония, тонкая грусть, предчувствие того, что в мире, полном копий, оригинал теряет значение.
Цвет в его работах — крик, вызов. Он делал лица знаменитостей зелёными, синими, розовыми, неестественными, но в то же время такими реальными. Он выхватывал из мира узнаваемые образы и умело переосмыслял их.
Целью моего проекта является попытка обучения модели на базе Stable Diffusion, которая смогла бы генерировать изображения в стиле Энди Уорхола, сохраняющие его характерную эстетику: яркие насыщенные цвета, серийность, «коллажность».
Исходные изображения
Для работы над проектом был отобран датасет из 24 рисунков Энди Уорхола, обладающих схожими чертами: практически все изображения, за исключением одного, являются портретами людей, выполненными в разной цветовой гамме.
В дальнейшем это позволило нейросети больше сфокусироваться на проработке лиц, которые, как итог, вышли весьма неплохими и похожими на оригинал. Также все иллюстрации были приведены к разрешению 512×512.
Работы Энди Уорхола
Итоговые изображения
В качестве первых промптов для проверки того, распознала ли нейросеть нужный стиль или нет, я решила использовать один из наиболее распространенных сюжетов в работах Энди — портрет Мерлин Монро.
Photo collage in Andy Warhol style, Marilyn Monroe, Warhol-inspired pop art piece
Стоит отметить, что искусственный интеллект прекрасно уловил основные, наиболее выделяющиеся черты творчества Уорхола:
— Насыщенность цветов — Сильный контраст — Глубокие тени — Текстурность — Шум
Photo collage in Andy Warhol style, vibrant celebrity portraits
В последующих генерациях можно также отметить схожесть изображений с тем, как их обычно создает художник. Нейросеть распознала рваный, «коллажный» паттерн, собранный из различных частей, и постаралась применить его в результирующих рисунках.
Можно отметить грубые, создающие уникальный узор мазки, на которые накладывается привычный контур лица с ярко выраженными теневыми частями. Все это играет в пользу узнаваемости стиля.
…vibrant celebrity portraits
Также получилось добиться неплохих результатов в генерации коллажей.
Каждый отдельный квадрат повторяет один и тот же узор, выполненный в разной цветовой гамме.
В данном случае получилось создать весьма забавный паттерн с котом. Работа все еще обладает вышеперечисленными характерными чертами, по максимуму выкручивает насыщенность и немного шумит.
…vibrant celebrity portraits
Оригинальная работа / Генерация нейросети
Подытоживая, можно сказать, что лучше всего в процессе обучения получилось поработать с лицами изображаемых персонажей. Вполне можно предположить, что некоторые из получившихся работ мог сделать и сам Энди.
Особенно хорошо получилось уловить черты Мерлин Монро: даже пряди волос получились весьма характерными и узнаваемыми.
Однако если немного отходить от основной тематики и просить ИИ сгенерировать какой-нибудь паттерн или просто предмет быта, то нейросеть теряется и начинает выдавать результат похуже — обыкновенный поп-арт, местами очень грязный и скомканный.
Код
В процессе работы я использовала Google Colab.
Для начала пришлось установить нужные библиотеки и прогнать все необходимые скрипты.
Затем настал черед загрузки собственного датасета из 24 изображений, к которым в последствии с помощью BLIP-а были определены подписи для дальнейшей работы.
Вот и настало время тренировки. Для обучения потребовалось 500 шагов с чекпоинтом в 250. После окончания процесса я выгрузила полученный результат на Hugging Face и начала пробовать первые генерации.
Вывод
Работы, не вошедшие в итоговую серию
В ходе работы над проектом мне удалось успешно сгенерировать изображения, соответствующие стилистике Энди Уорхола. В особенности стоит отметить некоторые портретные рисунки, которые, хоть и с небольшими изъянами, но все равно очень сильно попали в стиль, в котором работал Энди.
Несмотря на довольно хорошие результаты в этой области, нейросеть также иногда теряла суть происходящего и выдавала в корне иной результат, который лишь отдаленно (и то не всегда) напоминал стиль рассматриваемого творца.
Работы, не вошедшие в итоговую серию
Как итог, стоит сказать, что генеративная нейросеть выступает как хороший инструмент для проб и ошибок, создания чего-то нового и смелых экспериментов, до которых дошел бы не каждый деятель искусства. С помощью данной технологии можно воплотить множество необычных сюжетов или же просто попробовать воссоздать подчерк давно ушедшей легенды.
Работы, не вошедшие в итоговую серию
Использованные генеративные модели:
Stable Diffusion — обучение нейросети под стиль конкретного художника.
BLIP — описание изображений собранного датасета.
Hugging Face — получение токена для обучения нейросети.
ChatGPT — помощь в создании промптов.