Нейросетевая «Варежка»
Идея проекта
«Вязанки» — это серия изображений под стиль «Варежки», сгенерированных с помощью нейросети Stable Diffusion.
«Варежка», реж. Роман Качанов, 1967
Мне было интересно отобразить атмосферу мультфильма «Варежка» режиссера Романа Качанова и представить, как бы выглядели звери, сказочные персонажи и девочка в этом воплощении.
«Варежка», реж. Роман Качанов, 1967
Результирующая серия изображений
При запросе сгенерировать сказочных персонажей, сеть выдала очень интересное изображение. Была передана зимняя тематика, а также сказочная, теплая и уютная атмосфера, как в мультфильме.
Дальше я попросила сеть сгенерировать разные истории с животными на улице и в доме.
Сеть часто представляла изображения зверюшек мягкими, пушистыми, словно вязаные изделия.
Сети удалось передать текстуры из мультфильма, а также отличительные яркие цвета и детализированные фоны.
На сгенерированных картинках можно было увидеть мягкие и шероховатые поверхности, как и в кадрах мультфильма.
Когда я попросила сгенерировать истории с девочками, то персонажи часто получались похожими на главную героиню мультфильма — маленькими, с острыми носиками, ниточными волосами или в синей или розовой вязаной шапке.
В сгенерированных картинках удалось сохранить милую, кукольную графику с элементами вязания.
Описание применения генеративной модели. Процесс обучения генеративной модели.
Код был по обучению генеративной модели был написан в Google Colab. Перед тем как приступить к работе, я загружаю все библиотеки и обучающий код с GITHUB.
Скриншоты из Google Colab
Следующим шагом я импортировала свою датасет с квадратными картинками из мультфильма.
Скриншот из Google Colab
Затем нейросеть должна сделать анализ всех изображений из набора данных и создать промпты, которые будут применяться в дальнейшем обучении.
Скриншот из Google Colab
Теперь начинается обучение самой генеративной модели, которое заняло 2,5 часа. Я сразу поставило количество шагов — 1000, чтобы изображения получались более качественными.
Скриншот из Google Colab
Для того чтобы обучить модель, я использовала токен, который был сделан на платформе Hugging Face. После завершения процесса обучения модель сохраняется на этой же платформе.
Скриншот из Google Colab
В завершение я создаю новые изображения, используя промпт: «picture in VAREZHKA style, prompt».
Скриншот из Google Colab
Ноутбук с кодом для обучения
Описание применения генеративной модели
Stable Diffusion использовалась для дополнительного обучения с целью создания изображений в стиле мультфильма «Варежка» Романа Качанова.
DeepSeek и ChatGPT применялись для генерации промптов, которые использовались в итоговых изображениях.