Обучение генеративной модели Stable Diffusion стилю детских рисунков
Концепция
Идеей моего проекта является обучение генеративной нейросети Stable Diffusion, которая будет способна понимать и самостоятельно воспроизводить уникальные изображения, основанные на стиле детских рисунков.
В данном проекте я решила взять за основу именно детские рисунки, так как мне было интересно как нейросеть сможет повторить настолько интуитивный и наивный стиль рисования.
Исходные изображения
Для обучения генеративной нейросети на просторах интернета я собрала датасет, который состоял из 23 детских рисунков.
Код
Наш код реализует обучение генеративной нейросети, ориентируясь на стилистику детских рисунков.
Подключаем созданную нами папку «kids_art» и выводим тренировочные изображения.
Далее мы просим нейросеть создать промпты на наши изображения.
На этом этапе происходит обучение генеративной модели на собранном наборе изображений.
Серия итоговых изображений
На мой взгляд нейросеть вполне удачно справилась с генерацией изображений в стиле детских рисунков. Ей удалось передать неопытность и наивность. А также она справилась с передачей карандашной техники, штриховки и неоднотонного покрытия в некоторых областях.
В некоторых рисунках вместо карандашной техники нейросеть решила использовать акварель, что отражается в полутонах и делает изображение более сложным и контрастным.
Также интересно наблюдать за тем, как нейросеть справилась с рукописными вставками. Она достаточно умело повторила чернильные корявые надписи, напоминающие почерк ребенка.
Еще одним вариантом интересной генерации стала данная фотография. Здесь помимо детских рисунков мы можем заметить общую семейную фотографию, где человечки служат графикой и становятся частью рамки, частью дизайна самой фотографии.
Заключение
На мой взгляд, нейросеть действительно удачно справилась с поставленной задачей. Во всех изображениях прослеживается стилистика детских рисунков, карандашная или акварельная техника, узнаваемые формы и даже повторение рукописного шрифта. Цели, поставленные мной при создании этого проекта, были достигнуты.