Обучение нейросети в стиле «Kimetsu No Yaiba»
Описание проекта
Этот лонгрид — результат обучение модели «Stable Diffusion» на скриншотах из аниме «Истребитель демонов».
Скриншот для обучения DS из аниме «Истребитель демонов», студия «Ufotable», 2019
Целью работы было создать пайплайн, который будет иметь схожесть с рисовкой «Истребителя демонов», в частности повторять лайн и цветовое сочетание.
Чтобы обучить SD я собрала скриншоты из аниме в лучшем разрешении, в котором получилось найти и сохранила их в папку на компьютере. Однако оказалось несколько проблем, которые мне предстояло решить.
Скриншот для обучения SD из аниме «Истребитель демонов», студия «Ufotable», 2019
Прежде всего, все фотографии были в разном разрешении и формате (jpg, png, webp, gif). Поэтому был написан код который проходится циклом по изображениям в папке, обрезает их и конвертирует в jpeg.
Скриншот для обучения SD из аниме «Истребитель демонов», студия «Ufotable», 2019
Скриншот для обучения SD из аниме «Истребитель демонов», студия «Ufotable», 2019
Также была проблема с отцентровкой композиции. Из-за автоматического обрезания изображений часто возникали случаи, когда фокус ухадил на задние планы, где не было чётко выраженных графических элементов. Поэтому я потратила время на то, чтобы вручную подобрать средние параметры для обрезки картинок.
Обработанные изображения для обучения SD
Скриншот для обучения SD из аниме «Истребитель демонов», студия «Ufotable», 2019
Скриншот для обучения SD из аниме «Истребитель демонов», студия «Ufotable», 2019
Результирующая серия изображений
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
В сгенерированных изображениях в большинстве случаев удалось отразить аутентичный для аниме лайн и цветовые пятна.
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Тем не менее, очевидно, что модели предстоит пройти долгий путь в обучении, потому что зачастую реализм и стилизация конфликтуют между собой.
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Как уже было сказано ранее, модели предстоит долгое обучение для оптимального резуальтата. Поэтому сейчас между изображениями прослеживается неочевидная связь по стилизации. Например, иногда цветовые пятна слишком растушеваны, а иногда контур недостаточно меняется, как в оригинальном источнике. Тем не менее картинки так или иначе передают стиль аниме.
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Комментарий к изображениям
На сгенерированных изображениях я стремилась передать атмосферу Японии периода Тайсё и её культурные элементы. Так, зачастую можно заметить самураев, йокаев, чайные ритуалы, горячие источники и так далее.
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Изображения условно можно поделить на две категории: анималистические и пейзажные. На первых картинках изображены одушевлённые предметы, а на вторых природа.
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
Ноутбук с кодом обучения и описание процесса
Во-первых, для обучение были загружены фотографии. Затем эти изображения были отредактированы, после этого они были загружены на гугл диск, чтобы код имел к ним доступ.
Сгенерированные изображения после обучения SD в стиле «Истребителя демонов»
После изначальной подготовки в виртуальной среде были установлены все необходимые модули и библиотеки. А также созданы переменные и собраны референсы на компоненты для работы с ОС и датасетом.
Затем в коде были прописаны желаемые установки: размер батча, классы, текстовая шифровка для датасета и так далее.
Также были подгружены необходимые настройки и библиотеки для ускорения и оптимизации обучения. После, указаны желаемые параметры, папки для выгрузки. В конце концов, запущена тренировка модели.
В процессе обучения я столкнулась с несколькими сложностями. Так, была проблема с прогрузкой весов и установкой библиотек. Все решилось с помощью перехода на альтернативного пайплайна.
После тренировки модель была загружена и опубликована на репозитории «Hugging face».
Пояснение к использованию ИИ
При реализации работы использовался DeepSeek. Я спрашивала у модели идеи для композиции и сюжетов, а так же спрашивала про ошибки коде.
Описание применения генеративной ИИ
Для работы использовался искусственный интеллект для генерации идей и решения ошибок в коде. Ссылка на ИИ