Обучение генеративной нейросети под стиль Эгона Шиле
Концепция
В основе этого проекта лежит исследование возможностей генеративной нейросети воссоздавать уникальные художественные стили. В качестве источника и вдохновения я выбрала творчество Эгона Шиле — одного из моих любимых художников. Его работы всегда поражали меня своей эмоциональной интенсивностью, смелыми линиями, искажённой, но невероятно выразительной анатомией человеческого тела. Несмотря на то, что Шиле был ключевой фигурой австрийского экспрессионизма, его имя до сих пор остаётся малоизвестным широкому зрителю.
Мне особенно интересно, сможет ли нейросеть уловить ту экспрессию, тревожную чувственность и хрупкость, которые отличают его рисунки. Этот проект — попытка проверить, насколько хорошо искусственный интеллект способен не просто копировать форму, а передавать эмоциональное напряжение, живущее в линиях и силуэтах, созданных Шиле.
Цель проекта — не только воссоздание эстетики, но и изучение границ выразительности машинного творчества, когда оно сталкивается с таким непростым, глубоко человечным стилем.
Для обучения генеративной нейросети мною был собран датасет, включающий 28 работы художника, которые стали основой для глубокого погружения модели в его стиль. Особое внимание я уделяла разнообразию изображений человеческого тела и экспрессии.
Обучение модели
Настройка модели состояла из нескольких этапов, среди которых сбор и обработка (приведение их к разрешению 512×512p) датасета из 28 работ художника Эгона Шиле, обучение модели с использованием Stable Diffusion и применение методов DreamBooth и LoRA. Модель была обучена на 500 шагах. Для каждой картинки количество шагов генерации было 25.
После этого я загрузила сами изображения: 28 картин Эгона Шиле. Чтобы убедиться, что всё загружено и отображается корректно, я вывела предпросмотр изображений.
Для обучения модели я использовала Google Colab, а за основу кода взяла блокнот, предоставленный преподавателем. После технической части (проверка GPU, загрузка библиотек) я создала директорию для датасета. Следующим этапом была генерация описаний для картин в датасете с помощью BLIP.
После проведения всех подготовительных работ, я наконец перешла к этапу обучения.
Модель для до-обучения и генерации — Stable Diffusion. Помощь в составлении промтов — Chad AI.
Итоговые изображения
Промт слева: young man in a T-shirt Промт справа: man in black hat
Промт слева: woman with long blond hair Промт справа: family at dinner
Промт слева: woman with long blond hair in red dress Промт справа: woman with long blond hair and blue eyes in red dress
Промт слева: old man in glasses Промт справа: old man in glasses and blue shirt
Промт слева: old man in glasses and blue shirt with long hair Промт справа: old man in glasses and blue shirt with very long hair
Выводы
После проделанной работы я смогла выделить следующие выводы:
1. Модели удалось передать характер мазка — его резкость, прерывистость, длину и степень нажима, что особенно заметно в контурных линиях тела и одежды.
2. Общее тревожное и болезненное настроение, присущее работам Шиле, было успешно зафиксировано: холодные и землистые тона, мертвенно-бледные оттенки кожи, а также выраженные тени и пустоты фона создают ощущение эмоционального напряжения.
3. Искажение и деформация тела, акцент на хрупкости, непропорциональности и острых, торчащих костях — эти выразительные особенности стиля художника также удалось сохранить. Модель уверенно работает с экспрессией телесности, улавливая её болезненную эстетизацию.
4. Особого внимания заслуживает обработка одежды: она часто выглядит так, будто стекает с тела, теряет форму — этот визуальный эффект также был воспроизведён нейросетью достаточно точно и выразительно.
Однако, несмотря на успешную имитацию визуального языка, на мой взгляд, остается ощущение, что это не оригинальные работы, рожденные под воздействием трудного и противоречивого жизненного опыта Эгона Шиле. В сгенерированных изображениях отсутствует та подлинная, почти физически ощутимая печаль, внутреннее напряжение и оттенок безумия, которые пронизывают подлинные произведения.
Машина может воспроизвести форму, но ей всё ещё недоступна глубина переживания, ставшая основой стиля Шиле.
Использование генеративных моделей:
— Stable Diffusion XL — обучение генеративной нейросети под выбранный стиль; — BLIP — генерация описаний к изображениям в датасете.