Обучение генеративной нейросети под стиль мультсериала Winx
Идея
Для многих из нас мультфильмы детства — это приятное воспоминание, греющее и по сей день. Мне стало интересно посмотреть, как бы выглядели персонажи из разных медиа в стиле «Винкс», а также попробовать обучить модель создавать новых персонажей под рисовку мультсериала.
Исходные изображения для обучения
собраны с сайта fancaps.net
собраны с сайта fancaps.net
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под стиль на основе датасета
Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Kaggle и Google Colab — выполнение кода и генераций
В самом начале работы с кодом я установила необходимые библиотеки и загрузила датасет с 34 картинками для обучения. Дальше предстояло начать обучение модели под стиль Winx. Я остановилась на 1000 шагах обучения с чекпоинтом каждые 500.
Первые генерации
a picture in WINX style, a girl with dark blue hair and fairy wings flying in the sky | a picture in WINX style, a portrait of young asian girl with short purple hair
Несмотря на успех в имитации рисовки, нейросети было довольно тяжело располагать руки и волосы. Я протестировала разные значения шагов генерации, пока не нашла оптимальный промежуток в 50-60.
Итоговая серия изображений: оригинальные персонажи
a picture in WINX style, a portrait of dark skinned girl with fairy wings, angry, in library | a picture in WINX style, a portrait of dark skinned girl with long hair and blue fairy wings
a picture in WINX style, a portrait of blonde girl with pink fairy wings
a picture in WINX style, a portrait of a woman in yellow princess dress and with sparkling fair | a portrait of a woman in yellow princess dress and with sparkling fairy wings
Итоговая серия изображений: персонажи из медиа
После тестирования модели на оригинальных персонажах, настало время превратить уже существующих героев аниме и мультфильмов в феечек Винкс!
Новая команда фей и специалистов состоит из Сейлор Мун, Хацуне Мику, Наруто, Саске и Мулан. Вот такая дрим тим!
a picture in WINX style, sailor moon
a picture in WINX style, Hatsune Miku — a girl with two long blue ponytails
a picture in WINX style, naruto standing in forest
Герои получились узнаваемыми: модель хорошо передала их опознавательные черты — цвет волос и прическу, оттенки одежды, и даже детали, например повязка Наруто и усы на щеках.
a picture in WINX style, sasuke standing in forest | a picture in WINX style, naruto standing in forest
a picture in WINX style, a portrait of mulan
Вывод
До-обученная модель вполне успешно смогла имитировать рисовку мультсериала «Winx»: создать в этом стиле новых персонажей и подогнать под него уже существующих. Нейросети удалось повторить большие, широко поставленные глаза, худую анатомию с тонкой талией, сияющие крылья и костюмы.
Однако, на мой взгляд, такое создание картинок — это не более, чем вдохновение и развлечение. Любопытно посмотреть, что создаст искусственный интеллект и как обыграет стиль. Важно помнить, что материал, на котором основана любая генеративная модель — это многолетний труд живых художников, который не стоит использовать без их разрешения для серьезных проектов.