Генерация изображений в стилистике Джеймса Джина
ADRIFT III, 2020
Описание
Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для признанных мастеров живописи.
Нейросеть обучается на обширной базе данных картин знаменитого художника, изучая композицию его картин, цветовую палитру, технику мазка, особенности освещения и другие ключевые элементы, формирующие уникальный художественный стиль.
NERVOSA V, 2024
ERHU, 2019
AMA II, 2017
FORAGER IV, 2020
Для этого проекта я выбрал художника Джеймса Джин.
Джеймс Джин — современный американский художник, известный своими невероятно детализированными и реалистичными портретами, часто с элементами сюрреализма и фокусом на эмоциональном состоянии моделей. Его работы отличаются богатой цветовой палитрой, сложными текстурами и глубоким психологизмом.
Меня заинтересовало, насколько нейросеть способна распознать и интерпретировать характерные особенности его стиля. Сможет ли она выявить традиционные восточные мотивы и сюжеты в его работах? И, что особенно важно, уловит ли она присущую Джину двойственность: сочетание мрачных, даже пугающих образов с тонкой, неуловимой мечтательностью и романтизмом?
ADRIFT, 2015
FELLOWSHIP, 2020
Серия изображений
промт: 1 — painting of a blue flower, 2 — ocean waves with fish
Итоговая серия изображений демонстрирует паттерны и портреты персонажей, созданные нейронной сетью под влиянием стиля Джеймса Джина. Однако, стоит отметить, что они несколько отличаются от работ художника.
В сгенерированных изображениях отсутствует детализация и контраст, присущий стилю художника, однако цветовая гамма и сюжет изображений схожи.
Нейросеть не смогла выявить традиционные восточные мотивы. Мне тяжело сказать, что она смогла понять стиль Джеймса.
промт: 1 — a bunch of mushrooms, 2 — a dragon
промт: statue of a girl
промт: 1 — blue painting with girl and yellow birds, 2 — a painting of a robot with many different colors (250 шаг)
промт: a painting of a woman sitting on a pile of watermells
Ноутбук с кодом для обучения и описание процесса обучения
Я обучил нейросеть в стиле Джеймса Джина, используя метод Fine-tuning Stable Diffusion XL с расширениями DreamBooth и LoRA. Обучение проводилось на бесплатном облачном сервисе Colab с графическим процессором T4. DreamBooth помог интегрировать специфические черты стиля Босха, а LoRA обеспечила эффективное обучение, минимизируя потребление ресурсов и позволяя обойтись без полной перенастройки модели SDXL. Несмотря на ограничения бесплатной платформы, результат меня устроил.
Для улучшения качества сгенерированных изображений я также использовал нейросеть: https://overscale.imagewith.ai/ На этапе планирования текстовая нейросеть помогла мне с промптами и описанием: https://chatgpt.com/
Описание применения генеративной модели
Искусственный интеллект применялся с целью обучения существующей стилистике художника, для передачи настроения. Модель базирована на stable-diffusion-xl-base-1.0