КОНЦЕПЦИЯ
В основу проекта положен стиль итальянского художника эпохи возрождения, подарившего миру немало великих шедевров, а именно Микеланджело Меризи да Караваджо
Для исходного датасета было подобрано более 80 картин художника. Мне была интересна именно манера изображения людей, поэтому все подобранные картины являются либо портретами, либо сюжетными композициями с несколькими персонажами. Также в датасете присутствует несколько работ учеников Караваджо, отредактированные им самим. Для последующей загрузки картин и генерации изображений я кадрировала каждую в формате 1:1
«Экстаз святого Франциска Ассизского» (1595 год) \ «Больной Вакx» (1593–1594 год) \ «Нарциc» (1597–1599 год)
«Увенчание тернием» (1602–1604 год)
ОБУЧЕНИЕ МОДЕЛИ
В блокноте google colab я использовала генеративную модель Stable Diffusion XL, которую обучила с помощью DreamBooth и LoRa на графическом процессоре T4. Были установлены необходимые библиотеки, и загружен в программу исходных датасет картин Караваджо с сайта GALLERIX. Обучение заняло 1000 шагов, а чекпоинты происходили каждые 500.
Для улучшения качества итоговых изображения была использована также нейросеть Topaz Gigapixel.
фрагмент кода
СГЕНЕРИРОВАННАЯ СЕРИЯ ИЗОБРАЖЕНИЙ
(1)
Я решила систематизировать генерацию изображений, чтобы полноценно оценить возможности обученной генеративной модели. Первой категорией стали изображения, рифмующиеся с событийной составляющей работ художника.
(1) // (6)
Как можно заметить, нейросеть прекрасно справилась с общим настроением работ и тонкими текстурами масляной живописи, однако воссоздать многофигурные сложные композиции оказалось намного труднее: появляются новые конечности, люди, тело разрубается на несколько частей и т. д. Я считаю, что модели было сложно ориентироваться в пространстве из-за разнообразия композиций в исходном датасете. При этом с одиночными портретами модель справилась прекрасно.
(2)
(3) // (4) // (5)
Промпты:
1. «Portrait of a man with dark curly hair on a dark background»
2. «A group of men sitting at a table, they are talking to each other, there are various treats on the table»
3. «Rubs a girl in a white blouse with brown hair, she has dark curly short hair, and a pearl necklace around her neck»
4. «A painting of a half-naked man with white wings on his back, lying on a bed covered with bright red sheets»
5. «Oil painting, two girls are sitting at a table, one of them has a crown of thorns on her head in dark green color»
6. «Oil painting, portrait of a girl with dark wavy hair in shiny silver armor»
(2)
В следующей категории я решила поэкспериментировать, с событийным содержанием изображения и предложила модели создать те события и предметы, которые не подходят под общий сеттинг и временную эпоху работ Караваджо. На удивление здесь результат превзошел мои ожидания — нейросеть успешно справилась с большинством изображений, а проблемы вновь вызвали композиции с человеческими лицами, которые в некоторых случаях получились не только анатомически неверными и непохожими на изначальный портретный стиль художника, но и просто жуткими.
(9) // (7)
(8) // (11)
(12) // (10)
Промпты:
7. «A huge stone castle on a hill against the background of an overcast sky, a huge yellow dragon flies and circles above the castle and spews lightning from its mouth»
8. «Medusa the gorgon sits on a throne inside an antique building, with two naked dwarves sitting at her feet, frozen in horror and turned to stone»
9. «A giant grey unicorn taller than the trees with a shiny golden horn, standing in the middle of the forest. The weather is sunny, the sunset is visible behind the dense trees, and the rays of the sun shine through the crowns of the trees»
10. «A huge giant dwarf climbs Mount Everest during a heavy snowstorm against the background of the starry sky. The light is bright and dramatic»
11. «A pack of yard dogs runs in a circle around the room around an elderly woman. The room is empty and dark, the middle of the room is illuminated»
12. «A theater stage, there are two chairs on it, a little girl with blonde hair in a dress is sitting on one chair, a giant gray crow with human height is sitting on the second chair»
(3)
Последняя группа изображения предполагала довольно простые сюжеты, не связанные с оригинальными работами автора. Здесь я решила полностью отказаться от изображения людей и это определенно пошло на пользу конечному результату — нейросеть намного лучше справилась с натюрмортом, пейзажем и изображением животного.
(14)
(13) // (15)
(16)
Промпты:
13. «Landscape painted in oil, in dark shades with an image of a dark gray brick wall, on the wall there is a window from which dark yellow light from a candle pours»
14. «Oil painting of a still life with grapes, apples, and a banana in a basket on the table
15. Oil painting depicting a realistic gray cat on dark green grass»
16. «Landscape with a picture of a field dotted with various colors, the weather is cloudy, the sky is filled with clouds»
ЗАКЛЮЧЕНИЕ
Таким образом, обученная модель очень хорошо показала себя в копировании технического фирменного стиля художника и общей атмосферы его работ, однако едва ли хоть что-то из созданных изображений можно назвать произведением искусства. Нейросеть не сможет заменить деятельность некогда существовавшего великого художника, так как действует на основе выданных четких команд и копировании конкретных деталей его работ и стилистики.