Обучение генеративной нейросети под стиль художника Thony Hoax
./идея
Мой личный художественный стиль находится в застое из-за большого количества проектов, в каждом из которых необходим свой стиль. Из-за этого мой стиль стал теряться, и я перестал понимать, какие приемы мне необходимо использовать для того, чтобы у артов прослеживалось своеобразное стилистическое единство.
Короче говоря — мне нужно было найти за что зацепиться для развития своего персонального стиля.
Карточки персонажей для настольной игры «AN OBELUS»
Изображения для презентации игры-платформера «Зачарованная книга с которой хочется спать»
Персонажи и их иконки в merge-игре «Бульбульбуль!»
2D-спрайты врагов для bodehorror action-игры «DISCIPLE: MANTIS»
Изображения выше НЕ ИСПОЛЬЗОВАЛИСЬ для обучения нейросети, так как все они исполнены в совершенно разных стилях.
Я считаю что визуальный стиль должен подстраиваться под проект, а не наоборот, поэтому в это было вложено огромное количество усилий.
Но что насчет персонального стиля? Из-за огромного количества проектов я начал его терять. Так и родилась затея для этого проекта.
Важная ремарка: в генеративной модели использовано название HOUSEOFHOAX, так как я считаю, что важно разделять художника и нейросеть, обученную на работах художника, так как это два фундаментально разных типа контента.
./использованные изображения
Я использовал арты, нарисованные в период с 2021 по 2025 годы из-за того, что их в целом было довольно мало. В итоге набралось около 20 изображений, и, как выяснилось в итоге, этого было более чем достаточно для выполнения поставленной задачи — ведь в какой-то степени я ожидал от нейросети толику daydreaming’а*.
*daydreaming — процесс, когда нейросеть начинает «выдумывать» ответы на запрос или собирать по неподходящим частям силуэты на изображениях. То есть, простым языком, daydreaming — артефакты.
./обучение нейросети
В качестве рабочей среды я выбрал Kaggle, для работы использовался исходный документ, прикрепленный в курсе. Для того чтобы обучить нейросеть использовались, Stabble Diffusion, LoRA и Hugging Face.
Сначала были загружены все необходимые библиотеки, затем я загрузил свой датасет.
Позже — зарегистрировался на Hugging Face, получил токен и применил его.
В целом, действовал по пайплайну, представленному в курсе.
В определенный момент код отказывался работать так, как это ожидалось, но в итоге его удалось приручить, и нейросеть таки «съела» изображения и почти корректно определила, что на них изображено.
./результаты
Выше — одна из первых генераций. Запрос — art in HOUSEOFHOAX style, dark skinned man with green eyes and black hair, topless.
Мне было любопытно, как нейросеть увидит тело в моей стилистике. Мне всегда было тяжело рисовать «живые» мышцы, местами неидеальные, не очень красивые, в общем, не «пластмассовые».
Результат меня порадовал, ведь мышцы (торс и руки) выглядят по-необычному сухими, неидеальными, неровными. Пожалуй, мне нужно будет потренироваться чтобы повторить такое.
Также эта и последующие генерации отметили слабое место: прически. Все они либо «прилизаны», либо стремятся вверх как языки пламени. Стоит уделить больше времени объему волос.
Следующий запрос — «art in HOUSEOFHOAX style, bald woman, piersed nipples, rounded with feathers, dynamic pose».
Для хорошего арта важна динамика и «воздух» в движениях и в положении объектов/одежды, поэтому я составил вопрос, фокусирующийся именно на этом.
Я удивился тому, как интересно расположились перья, и как они окружили персонажку, а в особенности — её руки. Они выглядят так, будто они нанизаны на вуаль, поддуваемую снизу, из-за чего появился приятный объемный эффект. Нужно будет потренировать взаимодейтсвия персонажей с объемами, чтобы избавиться от плоскостности.
Следующий запрос — «art in HOUSEOFHOAX style, bald woman, red clothing, rounded with feathers, dynamic pose, yellow background, blue dye on a head».
Теперь мне было интересно посмотреть на взаимодействие объемов с контрастными примитивными цветами — синим, желтым и красным. Почти все мои картинки на данный момент оказываются слишком тёмными или слишком блёклыми, и найти баланс не удавалось. На полученном изображении я понял, как должно работать «дикое столкновение цветов» в моей стилистике.
Помимо этого нейросеть подсказала мне интересную идею: рисовать полупрозрачные, неполностью закрашенные и незамкнутые части тела, которые могли бы двигаться полсекунды назад, таким образом, будто несколько кадров наложили друг на друга. Именно артефакт, «испортивший» руки персонажки, мне показался интересным и красивым. Нужно будет тестировать.
Следующий запрос — «art in HOUSEOFHOAX style, Kye from the Snedronningen, light pale skin, white hair, SINGLE person».
Мне стало интересно, как модель справится с задачей, которую я ставил перед собой, рисуя Кая из «Снежной Королевы». Нейросеть увидела Кая менее грубым и более погруженным в себя, но, откровенно говоря, одежда на нем выглядит так себе. Как, в общем-то, и вся одежда на моих артах. Еще одно уязвимое место.
Последний запрос я решил в рамках эксперимента поставить наиболее абстрактно — «art in HOUSEOFHOAX style». Прям так, чуть ли не «нарисуй как я». В теории, этот запрос должен был вытянуть наружу не какого-то аккуратного персонажа, а именно стилистические приемы, формы, цветовые решения.
Результат меня приятно поразил. Именно здесь я увидел то, что было так важно для меня — то, какие формы нужно использовать в работах больше, как их экстраполировать.
«Закрученные в себя» формы у меня и правда можно наблюдать повсюду: в волосах персонажей, в ветвях деревьев, в тканях. Но я боялся изображать ими прям всё, но, глянув на эту генерацию, я понял, что почти всю органику я могу изображать таким приемом.
Также я понял, что не стоит фокусироваться на каком-то одном наборе оттенков, как это показалось на генерации дамы в красном. Конечно нужно чуть больше насыщенности, но я должен позволить себе использовать весь спектр — мягкое и нежное там, где нужны мягкость и
./заключение
Этот эксперимент с нейросетью, обученной на моих же работах, однозначно пойдет мне на пользу. По сути, мне удалось посмотреть на свои работы со стороны, взглядом того, кто их не рисовал, но кому они принадлежат.
./применение генеративной модели
Использовалась генеративная модель Stable Diffusion, обученная моему стилю рисования.
На обложке использован нейроарт, сгенерированный этой моделью.