Генерация изображений в стиле мозаики мастерской М. Полякова
для финального проекта курса было решено обучить генеративную модель созданию мозаичных изображений в стиле мастерской Михаила Полякова
Мозаики М. Полякова
Наш современник, Михаил Поляков создаёт мозаики следуя канонам советского авангарда, однако смело и стремительно раздвигает горизонты привычного соцреализма. В простых сюжетах его мозаичных панно вдруг появляются сюрреалистичные краски и формы. Контрастные цвета и акцентные выгибающиеся линии открывают двери обыденности, унося зрителя далеко за пределы знакомых ему образов и явлений.
Выбор именно мозаики здесь как никогда уместен: дробление изображения на примитивные формы становится первым шагом на пути к большему — синтезу нового опыта, в котором главенствует условность. Здесь не черта, но очертание, не образ — но резвящийся, ускользающий от зрительских глаз мираж.
Советская соцреалистическая мозаика, принципы которой наследует мастерская М. Полякова
Советская соцреалистическая мозаика, принципы которой наследует мастерская М. Полякова
Тем интереснее, кажется, выбор именно инструментария генеративных нейросетей: способна ли их хаотичная непостоянность собраться в стройный ряд мозаичных фрагментов и стать чем-то большим чем ограниченная геометрия?
для обучения нейросети была составлена база данных из 26 изображений мозаики, которые были объединены схожими чертами и элементами
Database из картинок мозаики 512×512 px
Главным фактором отбора изображений было сохранение пропорции между конкретным образом и геометрическими поверхностями, будь то перетекающие друг в друга плавные линии или же рубленные формы с острыми краями.
Database из картинок мозаики 512×512 px
Теперь нужно задействовать уже обученный BLIP для генерации описаний изображений из датасета, который был предварительно составлен. Таким образом, все текстовые описания создаются автоматически. Затем систематизируем все полученные описания, задав caption: mosaic in style of POLYACOV
Учим модель с использованием техники LoRA, всего шагов обучения будет 750, обрабатываться должны по 2 изображения за раз. После каждых 250 посчитанный шагов должно осуществляться сохранение прогресса. Все изображения, как и указывалось ранее, в формате 512*512 px, а для экономии памяти применим половинную точность вычислений, что дополнительно ускорит время дообучения нейросети.
Загружаем обученную модель на Hugging Face, игнорируя при этом все временные файлы, возникшие в процессе обучения. Теперь с помощью задавания промпта и негативного промта можно получать новые изображения в заданной стилистике.
результирующая серия изображений во многом отражает те принципы, которые можно проследить в работах мастерской М. Полякова
mosaic in style of POLYAKOV, man grans a hammer
Начать было решено с образа рабочего, так свойственного соцреализму. Хотелось посмотреть, как обученная нейросеть справляется с задачей при отсутствии негативного промпта и большого сэмплинга. Результат кажется интересным: паттерн мозаики передаётся весьма точно, а недостатки в анатомии как раз и делают персонажей похожими на авангардистских героев.
mosaic in style of POLYAKOV, man grans a hammer
Продолжаем генерацию героев советского мифа: астронавтов и лётчиков. На этот раз нужно получить более чёткий результат, поэтому нужен чёткий негативный промпт, учитывающий все возможные ошибки.
Промт берём с сайта aiart.com: [bad anatomy, bad hands, three hands, three legs, bad arms, missing legs, missing arms, poorly drawn face, poorly rendered hands, bad face, fused face, cloned face, worst face, three crus, extra crus, fused crus, worst feet, three feet, fused feet, fused thigh, three thigh, extra thigh, worst thigh, missing fingers, extra fingers, ugly fingers, long fingers, bad composition, horn, extra eyes, huge eyes, 2girl, amputation, disconnected limbs, cartoon, cg, 3d, unreal, animate, cgi, render, artwork, illustration, 3d render, cinema 4d, artstation, octane render, mutated body parts, painting, oil painting, 2d, sketch, bad photography, bad photo, deviant art, aberrations, abstract, anime, black and white, collapsed, conjoined, creative, drawing, extra windows, harsh lighting, jpeg artifacts, low saturation, monochrome, multiple levels, overexposed, oversaturated, photoshop, rotten, surreal, twisted, UI, underexposed]
mosaic in style of POLYAKOV, soviet astronaut, soviet pilot
Нейросеть хорошо справляется как с разными планами, так и со статикой или же, напротив, динамикой форм, что хорошо можно заметить на примере с атлетами.
mosaic in style of POLYAKOV, soviet swimmer, water, swimming suit
mosaic in style of POLYAKOV, soviet athlete, running athlete
mosaic in style of POLYAKOV, football player, red uniform, green field
Одинаково успешно получается генерировать и пейзажи, хотя и уровень условности в них гораздо выше, изображение не распадается и не превращается в визуальный шум: образы легко поддаются прочтению, чего, в конечном счёте, мы и добиваемся.
mosaic in style of POLYAKOV, Moskow kremlin, red brick building, Red square
mosaic in style of POLYAKOV, landscape with factory, smoke out of pipes, huge pipes
mosaic in style of POLYAKOV, people harvesting wheat field
mosaic in style of POLYAKOV, rocket launch in steppe
Следуя важному принципу мозаичного искусства о разделении по цвету, необходимо было узнать, может ли нейросеть создавать изображения исходя из заданной цветовой палитры, которая бы определяла все цветовые взаимоотношения на панно.
mosaic in style of POLYAKOV, man holds fruits, orange and dark blue palette
mosaic in style of POLYAKOV, woman holds a watermellon, red and dark green palette
Можно также сгенерировать и изображение конкретной личности, даже оно не будет лишено нужной доли абстракции.
mosaic in style of POLYAKOV, portrait of Vladimir Lenin
Можно также сгенерировать и изображение конкретной личности, даже оно не будет лишено нужной доли абстракции.
mosaic in style of POLYAKOV, milkmaid with cow, sunrise and morning, countryside, rural
mosaic in style of POLYAKOV, man harvests in tractor / mosaic in style of POLYAKOV, man in wheat field