Обучение генеративной нейросети под стиль «Реализм» художников 20 века
Концепция
Целью проекта было обучить модель Stable Diffusion XL генерировать изображения в стиле портретов, написанных известными художниками, используя небольшой набор изображений для обучения. Для этого применяется техника DreamBooth, которая позволяет обучить модель на новых концепциях, и LoRA, которая адаптирует модель с минимальными вычислительными затратами. Для обучения были взяты 40 изображений с сайта Kaggle.
Описание применения генеративной модели
Генерация изображений в проекте была выполнена с использованием модели Stable Diffusion XL, адаптированной с помощью техники DreamBooth и LoRA. Stable Diffusion предоставила необходимые инструменты для создания изображений в высоком качестве, DreamBooth использовалась для адаптации и позволила создавать изображения в выбранном стиле, а LoRa использовался как метод, требующий небольших вычислительных затрат и быстрой адаптации к новому стилю. Чтобы сократить время генерации изображений, выбрано было разрешение 512×512 пикселей. Для каждого изображения использовались 25 шагов генерации (как в шаблоне).
Сгенерированные изображения
Чтобы понять, насколько модель эффективна, я старалась использовать максимально разнообразные и неподходящие под стиль описания объектов. Однако в результате стиль был узнаваем в каждом из сгенерированных изображений. Получились художественные образы, объединяющие элементы фотографии, живописи и графики, с акцентом на заданный стиль.
1 — photo collage in ART style, a portret of girl in the forest 2 — photo collage in ART style, the Russian village near the river
1 — photo collage in ART style, a business meeting 2 — photo collage in ART style, Brad Pitt and Leonardo DiCaprio
Модель успешно передаёт черты персонажей, таких как Брэд Питт, Леонардо ДиКаприо или девочка в лесу, добавляя им художественную интерпретацию, подходящую под выбранный стиль. Люди узнаваемы на картинках, а черты известных актеров не были сильно искажены.
photo collage in ART style, a boy and a gitl playing hide and seek in the village
1 — photo collage in ART style, a story from Grimm brothers 2 — photo collage in ART style, cowboys in Amerika
Каждая сцена (деревня, бизнес-встреча, сказка братьев Гримм) передаётся с уникальной атмосферой, соответствующей промпту.
1 — photo collage in ART style, a Mona Lisa picture 2 — photo collage in ART style, a Dubai city
Цветовая палитра изоражений исключает насыщенные и яркие цвета, генерируя изображения в приглушённых и естественных тонах. Даже по запросу сгенерировать Дубай, город был оформлен в теплые ненасыщенные цвета. Результаты очень близки к первоначальной идее. При обучении на бОльшем количестве изображений и увеличении числа шагов обучения, результат сможет стать ещё лучше.
Ссылка на датасет и код
Ссылка на Hugging Face