Обучение нейросети Stable Diffusion для рисования в стиле My little Pony
Цель проекта
Целью моего проекта было обучить нейросеть Stable Deffusion создавать изображения, основываясь на стиле мультфильма My little Pony.
Итоговые изображения
Результат обучения дал в качестве итоговых изображений несколько картинок с пони, собранных из разных частей персонажей, которые были даны нейросети в качестве материала для обучения. Получить какие-то абсолютно новые черты было сложнее, однако фоны и пейзажи позади персонажей получались довольно похожими на те, что присутствуют в самом мультфильме.
В качестве промптов, я просила нейросеть сгенерировать изображения с пони в разных цветах, или в разном окружении, так же одной из задач стала генерация изображения сразу группы персонажей. Однако, группа далась нейросети сложнее — на большинстве итоговых изображениях можно заметить съехавшие черты лица или путаницу в конечностях. И все же, даже так, на картинках хорошо читаются характерные выражения лиц и позы персонажей.
Процесс обучения нейросети
Первым шагом к обучению нейросети стал сбор датасета, мой включал в себя около 23 картинок с одиночными персонажами и персонажами в группе, а так же самих скриншотов мультфильма, которые включали в себя еще и фрагменты фона.
После этого, я загрузила в Google Colab код для обучения Stable Deffusion через Dream Booth и LoRa, который нам предоставили в лекции. Я изменила фрагмент с загрузкой изображений и импортировала их напрямую в коллаб с моего устройства вручную, после этого с помощью BLIP я сформулировала свой промят и записала его как «a picture of pony in mylittlepony style». Так же в процессе я зарегестрировалась и зашла на свой профиль Hugging Face, чтобы сохранить модель в нем.
Вывод
Нейросеть, которую я обучила с трудом может создавать новых персонажей и скорее генерирует их из частей тех, которые ей были даны в качестве датасета, но у нее получается передать стилистику, некоторые мимические особенности и присущую мультфильму цветовую палитру.
Промптлист
1. a picture of pony in mylittlepony style, in the forest 2. a picture of pony in mylittlepony style, in the castle 3. a picture of pony in mylittlepony style, at a picnic 4. a picture of pony in mylittlepony style, among the hills 5. a picture of pony in mylittlepony style, pony friend group