Synthetic Nature
Концепция
Идея изображений заключается в исследовании взаимодействия технологий и природы, в поиске новых форм, где индустриальные и машинные образы будут интегрированы в природный, органичный мир.
В контексте такого эксперимента работы Эйвинда Эрла становятся подходящим ориентиром. В его стиле прослеживаются плавные, яркие, глубокие формы и органичные сказочные природные сюжеты, которые позволят поместить современные элементы технологий в живой, гармоничный мир и посмотреть, как они сочетаются.
Для этого я собрал датасет с 150 работами этого художника.
Работы Эйвинда Эрла
Итоговые изображения
Оценка процесса
В серии изображений представлены некоторые сюжеты природы, имеющие в основе мотивы цифровизации, будь то буквально изображенные здания или устройства, или более абстрактные, но эмоциональные кадры.
Ожидаемо, ИИ генерировал много ветвей, деревьев и лесов, которые преимущественно были на оригинальных картинах, но делал это довольно шумно и грязно.
Референсы деревьев с картин Эйвинда Эрла
Первые генерации
Далее стало понятно, что одного обучения на работах художника не хватает, поэтому промпты стали более сложными и подробными. Здесь был использован ChatGPT, который совмещал изначальный стиль Эйвинда и добавлял в него разные индустриальные элементы.
С такими конкретными сюжетами в промптах получилось добиться того замысловатого изначального стиля, но некоторые более «плоские» и иллюстративные элементы (например, градиенты, четкие цветовые линии, ровная геометрия) не удалось передать в финальных изображениях. С другой стороны, общий характер кадров остался таким же мистичным и глубоким: присутствуют силуэты и графичность, яркие, контрастные цветовые переходы и многоплановость и органичность линий.
Примеры удачного наследования оригинального стиля
В процессе было сгенерировано много вариантов сюжетов, в которых технологии как-то пересекались с природой. Некоторые получались либо недостаточно детализированными, либо слишком отходили от стиля, либо сама композиция и сюжет был неудачным.
Соответственно, мною были выбраны варианты, которые, как мне кажется, более полно отражают концепцию в разных ситуациях, где есть и абстрактные, и конкретные образы.
Примеры отсеянных генераций
Также для увеличения разрешения использовалась Upscayl (визуально никак не сказалось на генерациях).
Обучение модели началось с установки библиотек, которые помогут обучить нейросеть (bitsandbytes, transformers, accelerate, peft — инструменты для работы с ИИ; diffusers — для генерации изображений; train_dreambooth_lora_sdxl.py, — обучение модели).
Далее я создал папку для изображений (neuro), в которую загрузил свои изображения, на них модель обучается.
Далее к каждому изображению создается подпись с помощью модели BLIP, которая умеет автоматически подписывать изображения, добавляя к каждому описанию фразу «In the style of EARLE,», чтобы подчеркнуть нужный стиль.
После запускается процесс обучения DreamBooth с LoRA, используя предобученную модель stable-diffusion-xl-base-1.0, задаются параметры (размер 512×512, скорость обучения, 500 шагов) и нейросеть обучается рисовать в стиле Eyvind Earle.
В завершение загружаем обученную модель, вводим описание изображения, например «In the style of EARLE, A sleek cybernetic computer in a stylized field.», и нейросеть создает картинку.
Описание применения генеративной модели
С помощью ChatGPT (https://chatgpt.com/) были написаны промпты для генераций, а также скорректированы существующие, некоторые из них: