Обучение генеративной модели под стиль Масяни
Идея
Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для определённых иллюстраторов.
Для своего проекта я выбрала не обычный мультик, а именно Масяню. Масяня — это обычная, особо не блещущая талантами и красотой девица, живущая той же обычной жизнью, что и мы все, собравшиеся в этой стране, да и не только в ней. Я не находила практически артов вместе с этим персонажем, да и заметила то, что многие забыли про этот мультик. Своим проектом я хотела еще раз напомнить всем об этом забытом шедевре, который откликается в наших сердцах за обыденность и простоту, за отсутствие незыблемых мечтаний о прекрасной жизни.
Как я уже сказала, в интернете очень мало артов с Масяней и я хотела бы посмотреть, как нейросеть видит ее и сможет ли повторить этот уникальный стиль.
Исходные изображения
Тут я прикрепила исходные картинки, которыми я обучала свою модель
Стиль Масяни довольно простой, понятные формы, нет должной анатомии и 2д формат теней, посмотрим как ее повторит нейросеть.
Код
Здесь я показываю как я строила свой код
Подключаю необходимые модули, настраиваю рабочую директорию и пути к данным.
Чтобы работать с моделями и наборами данных на Hugging Face, я использовала функцию notebook_login (). Благодаря ей я смогла войти в систему Hugging Face Hub с помощью сгенерированного API-ключа и получила доступ ко всем нужным ресурсам для обучения.
Эта команда запускает процесс, где я дообучаю модель, чтобы она генерировала картинки в нужном мне стиле, а именно в стиле масляных красок. Сначала подгружается базовая модель с нужными ресурсами, а затем ей показывают набор примеров картинок с описаниями, чтобы она научилась создавать новые работы в стиле Масяни.
И далее выложила модель
Полученные фотографии
Первая фотография получилась хорошо, соблюден стиль Масяни, частично создана ее одежда, почему-то цвета перемешались, но в остальном вышло отлично.
Второе изображение получилось хуже, возможно из-за второго персонажа, в целом неплохо, но появилось множество лишних деталей и нарушена немного стилистика Масяни.
Эта Масяна неплохая, но опять же старые проблемы возникли с соблюдением анатомии данного персонажа
Неплохие кадры, видно, что нейросети тяжело дается создание персонажей, которые имеют уникальный стиль, но вышло хорошо, есть недочеты, но основная суть персонажей сохранена, даже появился фон, который соответствует стилистике мультика.
Вывод
Итак, обучение нейросетей для генерации изображений достигло значительных успехов и продолжает развиваться. Современные модели, такие как DALL-E 2, Stable Diffusion и Midjourney, способны генерировать высококачественные, детализированные изображения по текстовому описанию. Во-многом ей предстоит еще учиться, так как на некоторых этапах возникают проблемы и несоответствие промтам, но я верю, что у нее большое будущее.
EXISTING_LINK_0_1761439396392_k0fw4×24w