Обучение нейросети в стиле Уильяма Кикхофеля

Уильям Кикхофель был американским художником, активно работавшим примерно в середине 1930‑х - начале 1940-х годов, наиболее известным сегодня благодаря дизайнерским работам. Сохранившиеся работы Кикхофеля в основном представляют собой тщательно выполненные рисунки предметов и интерьеров, часто выполненные акварелью, цветным карандашом и графитом на бумаге. Среди предметов — религиозные и литургические предметы, предметы домашнего обихода (например, подсвечники и колокольчики для ужина), а также декоративные мотивы, такие как узоры, похожие на стеганое одеяло.

Работы Уильяма целиком посвящены натюрмортам в испанском колониальном стиле на юго-западе Америки. В серии работ я сгенерировала разных предметов и обликов современности на контрасте с известными древними атрибутами искусства и духовности. Модель Stable Diffusion XL была обучена за 750 шагов с контрольным шагом 375. По результату работы можно сказать, что нейросеть очень точно уловила ключевые особенности работ, такие, как приглушенные цвета, реализм, тонкие линии, потертая бумага. Обошлось практически без артефактов и лишних конечностей. Нейросеть хорошо подражала как акварельным мазкам, так и карандашной штриховке.

Процесс работы:

• установка библиотек, SDXL LoRA, Diffusers
• создание датасета с картинками для обучения
• приведение всех изображений к формату 1:1
• предпросмотр изображений
• генерация подписей к картинкам с помощью модели BLIP с префиксом "in KIECKHOFEL style"
• подключение к Hugging Face
• обучение модели
• сохранение модели на HF
• генерация новых изображений на пайплайне DiffusionPipeline с предобученным VAE и весами LoRA