Обучение генеративной нейросети в стиле Мэтта Болингера
Концепция
Если рассуждать о характерных особенностях творчества Мэтта Болингера, то можно будет выделить следующие магистральные линии; герои (с лицами будто бы не от мира сего), обращенные в анфас к зрителю или же наоборот, радикально повернутые затылком; плотный, графичный мазок в живописных работах и такой же плотный штрих в графике; и, конечно, необычный свет, оживляющий черно-белую графику и максимально раскрывающийся в живописи за счет колорита; Такую искусную манеру чувственного рисования сложно передать даже профессионалу, вот почему было мне было интересно исследовать, как с такой задачей может справиться нейросеть.
Картины Мэтта Болингера. Источник изображений: https://mattbollinger.com.
Мэтт Болингер в основном работает в двух техниках: колоритной живописи и черно-белой графике. В базу данных для обучения я собрала 35 квадратных соразмерных изображений и того, и другого типа, чтобы нейросеть переняла в первую очередь именно стиль, а далее уже и технику использования материалов.
Графика Мэтта Болингера. Источник изображений: https://mattbollinger.com.
Работа с кодом
Использовав пример кода из курса, сначала я установила нужные библиотеки, проверила работу технической части, загрузила изображения и отформатировала их. Одним из ключевых шагов стало создание дополнительных описаний к каждой картинке с помощью модели BLIP, на основе которых потом я писала промпты, распространяя до нужных деталей окружения и атмосферы.
Следующий важный этап — обучение генеративной модели. На выполнение этой задачи ушло больше получаса, однако результат того стоил. После этого модель была загружена в репозиторий на Hugging Face, а потом использована для генерации картинок и анализа поведения нейросети.
Полученные изображения
При генерации изображений я пропускала промпт через эту часть кода по несколько раз, иногда просто чтобы улучшить качество картинки, иногда, чтобы заменить «painting» на «drawing: первая формулировка воспринималась нейросетью как указатель на колористическую живопись, а вторая — на монохромную графику.
Painting in Matt Bollinger style, a man sits alone in a dimly lit living room, watching the static of an old television. the wallpaper is faded, and the only light comes from a flickering lamp.
Сразу после первой генерации я поняла, что нейросеть часто размывает полученные изображения и четкости, которую можно увидеть на картинах Болингера, нет: необязательные паттерны не детализируются, а лица странным образом сжимаются. Само сабой, это негативно отражается на результате
Painting in Matt Bollinger style, two teenagers stand silently by a gas station at dusk, under buzzing fluorescent lights. their faces are half-lit, half in shadow.
В следующих изображениях чуть больше живости, скорее всего потому, что паттерны пропали, а поверхности заполнились текстурными градиентами. Приятные силуэты, немного вытянутые черепные коробки, расслабленные плечи — все это хорошо считывается у автора и нейросеть в этот раз тоже цепляется за такие детали.
Drawing/Painting in Matt Bollinger style, two teenagers stand silently by a gas station at dusk, under buzzing fluorescent lights. their faces are half-lit, half in shadow.
Painting in Matt Bollinger style, a woman smokes on the porch of a weathered house, wrapped in a thick coat. it’s early morning and fog covers the yard.
Живописная часть промпта про старый дом, женщину и собаку оказалась довольно приятной именно по атмосфере. Нейросеть немного забыла о палитре, часто используемой Болингером в живописи, но передала ощущение потерянности и повседневности, что хорошо вписалось в наполненную жизнью композицию.
Drawing in Matt Bollinger style, a woman smokes on the porch of a weathered house, wrapped in a thick coat. it’s early morning and fog covers the yard.
В графической части же техника потерялась совсем, Мэтт Болингер часто давит на карандаш, старается над четкими линиями и не боится странных градиентов и изменений в контуре, но здесь показана простая карандашная техника с размытыми формами. Хоть результат и выходит довольно красивым, но в этих картинках не чувствуется линия со стилем нашего художника.
Painting in Matt Bollinger style, a boy walks through a field of tall dry grass under a gray sky. he carries a school backpack and looks down, lost in thought. the wind bends the grass around him.
Промпт про мальчика, проходящего через поле сухих растений, с тяжелым небом и атмосферой свободы. Картина слева получилась отлично, хорошо легли краски, появились форменные Болингеровские тени и пятна, видна подложка. А вот правая зарисовка совсем не удалась: ни техники, ни текстуры Болингера не прослеживается, а силуэт мальчика выглядит излишне мультяшно
Painting in Matt Bollinger style, an old pickup truck sits in front of a trailer home, bathed in the orange light of a setting sun. no one is around. the sky is heavy, filled with low-hanging clouds.
Следующий промпт нейросеть обработала довольно успешно. Слева очень хорошие, «болингоровские» цвета, сложный свет и тени, плотные заливки. А вот цветовые пятна справа несколько выдают авторство ИИ. Однако мне нравится, что при одном и том же промпте левая картинка с её американским траком передает атмосферу южных штатов США, а изображение справа отсылает к эстетике отечественной деревни.
Drawing in Matt Bollinger style, a woman stands by a kitchen sink at night, the room lit only by the refrigerator light. she holds a glass of water and stares out the window into the darkness.
Одним из моих любимых промптов стала женщина на кухне. Правое изображение получилась лучше остальных; в нем есть какая-то «трафаретность», может и не присущая Болингеру, но хорошо встроившаяся в его стилистику. Кроме того, наконец-то появился реалистичный, а главное узнаваемый штрих Болингера.
Drawing in Matt Bollinger style, a woman stands by a kitchen sink at night, the room lit only by the refrigerator light. she holds a glass of water and stares out the window into the darkness.
Если бы не досадный инцидент с рукой женщины на картинке слева, эту работу сложно было бы отличить от творения Мэтта Болингера. Странное лицо, уставившееся прямо на зрителя, сложный свет, мазок, детализация предметного мира — все это соответсвует стилю автора.
Painting in Matt Bollinger style, a plastic lawn chair lies tipped over in an overgrown backyard. dandelions grow through the cracks in the pavement. the sky is pale and silent.
Далее я сделала еще несколько кратких проб с объектами и пейзажами, чтобы проверить, как нейросеть будет работать с изображениями без людей. Оказалось, что нейросети все же сложно учесть работу с сухой кистью и определенным типом краски; части изображения сливаются и мнутся, хотя, безусловно, детальность и пушистость одуванчиков оказалось очень в духе автора.
Painting in Matt Bollinger style, a kitchen table with a half-eaten sandwich, a folded newspaper, and an ashtray full of cigarettes. morning light falls in through yellowed curtains.
При генерации этого промпта отчасти соблюдены требования к технике мазка, цвету и свету, однако изображения выглядят слишком реалистично, и совсем не так потусторонне, как у Мэтта Болингера. Кроме того, исчезновение прописанного в промпте бутерброда на изображении справа меня совершенно не порадовало.
Drawing in Matt Bollinger style, a kitchen table with a half-eaten sandwich, a folded newspaper, and an ashtray full of cigarettes. morning light falls in through yellowed curtains.
Painting in Matt Bollinger style, a muddy road cuts through flat farmland under a low, heavy sky. telephone poles stretch into the distance. puddles reflect the gray clouds.
Painting in Matt Bollinger style, an empty bus stop bench at night, lit by a flickering streetlamp. a crushed soda can lies nearby. everything around is quiet, the air feels damp.
Может быть из-за цветов, характерных для работ Мэтта Болингера, а может просто по удачному стечению обстоятельств, но на этих картинках снова появились похожие на оригинал мазки. Хотя кое-где нейросеть снова добавляет больше контур, отчего теряется живописность и пространственность пейзажа.
Drawing in Matt Bollinger style, an empty bus stop bench at night, lit by a flickering streetlamp. a crushed soda can lies nearby. everything around is quiet, the air feels damp.
Анализируя проделанную работу, я могу сказать, что удачные генерации, попадающие в стилистику выбранного мной автора, имели место быть. В некоторых изображениях нейросети удалось скопировать особенности человеческой фигуры, атмосферы и технику Мэтта Болингера. Однако немногочисленность этих изображений меня скорее обрадовала, поскольку это подтвердило факт пока еще сохраняющейся монополии художника на уникальную живописную технику.
Применение генеративной нейросети
Для генерации промптов был использован Chat GPT. Промпт «Generate six prompts for a project with image generation based on Matt Bolinger’s style, then four more related to landscapes and still lifes».