Задача
Задача проекта — обучить LoRA для модели Stable Diffusion XL, ориентированный на стиль укиё-э. Данный стиль был выбран благодаря своей выразительности, разнообразию сюжетов и характерным художественным приёмам, которые представляют интерес для исследования возможностей генеративных моделей. Без специализированного дообучения базовая SDXL воспроизводит укиё-э лишь приблизительно, часто смешивая его с другими эстетиками (в частности, аниме или современным цифровым искусством), что не позволяет добиться аутентичной передачи особенностей японской гравюры периода Эдо.
Все изображения были взяты с сайта https://www.metmuseum.org/ и распространяются по лицензии CC0 https://www.metmuseum.org/hubs/open-access
Исходные изображения
Ниже по паре изображений из каждой категории.
Почти все изображения были обрезаны под пропорции 1:1, чтобы максимально соответсветсовать правилам генерации, однако немного не точные пропорции не страшны, важно, чтобы не было слишком большой разницы.
Подготовка к тренировке Lora
Все изображения были качественно отобраны, обрезаны или сжаты, чтобы соответсвовать правилам генерации.
Укиё-э имеет множество стилей, в данном случае будут использоваться следующие стили: бидзин-га, фукей-га, фузоку-га, качо-га, якуша-э, йокаи-э. Всего было собрано 68 изображений.
В качестве триггер слов мы будем использовать: ukyoe123, [категория], основной промпт, [пост префикс (japanese woodblock print и прочее)]
Кратко про стили:
Бидзин-га — изображения красивых женщин, чаще всего гейш, куртизанок или горожанок. В таких работах особое внимание уделяется позам, одежде и декоративным деталям.
Фукей-га — пейзажи, изображающие природу, дороги, горы и известные места. Эти работы формируют характерное представление о пространстве и композиции в укиё-э.
Фузоку-га — сцены повседневной жизни, показывающие занятия, праздники и бытовые моменты жителей эпохи Эдо.
Качо-га — изображения цветов, растений и птиц, отличающиеся декоративностью и вниманием к природным формам.
Якуша-э — портреты актёров театра кабуки, передающие характерные позы и театральную выразительность.
Йокаи-э — изображения мифологических существ и духов японского фольклора.
Эти категории были выбраны потому, что вместе они охватывают основные сюжеты укиё-э. Такое разнообразие позволяет модели лучше усвоить характерные элементы стиля и применять их в разных визуальных сценах.
Для формирования текстовых описаний изображений использовалась модель автоматического описания изображений BLIP. Она позволяет автоматически генерировать базовые подписи, описывающие содержимое изображения. Автоматическое описание изображений использовалось в качестве исходного материала.
Однако автоматические описания часто оказываются слишком общими или не отражают стилистические особенности изображений. По этой причине все описания дополнительно редактировались вручную. В процессе ручной корректировки уточнялись элементы композиции, персонажи, объекты сцены и стилистические признаки, характерные для стиля Укиё-э.
Для обучения LoRA использовалась стандартная конфигурация, адаптированная под мои данные и параметры. Обучение проводилось на 6000 шагах, что позволило модели последовательно усвоить характерные особенности выбранного художественного направления. Основная скорость обучения (learning rate) была установлена на 0.00008 для всей модели.
Поскольку исходный набор содержал всего 68 изображений, для обучения Lora каждый файл был вручную продублирован 4 раза, всего 272 изображения. Это позволило увеличить количество примеров и стабилизировать процесс усвоения стиля при ограниченном объёме данных.
Результат
Правила генерации:
Для генераций изображения с LoRA и без используется один и тот же seed, промпт и модель.
Не используется никаких дополнительных техник генерации изображений, дополнительных Lora и прочего. используется только базовая модель Stable Diffusion XL и промпт.
Это нужно для того, чтобы сделать максимально честные выводы, насколько хорошо получилась Lora.
Слева — изображения без LoRA. Справа — изображения с LoRA, 0.7-0.8 сила.
«ukyoe123, bijin-ga, beautiful courtesan sitting by a low table writing a letter, intricate updo with golden hairpins, luxurious layered kimono in deep indigo and crimson, calm focused gaze, tatami mat floor, soft lantern light, japanese woodblock print, stylized forms, traditional limited palette»
«ukyoe123, bijin-ga, elegant young woman, portrait, delicate face with subtle blush, flowing silk kimono with floral embroidery, gentle expression, japanese woodblock print, flat colors, bold black outlines, edo period style»
«ukyoe123, fukei-ga, golden sunset behind a solitary ancient pine on rocky outcrop, fiery orange sky fading to deep purple, long shadows across rugged stone, calm sea far below, japanese woodblock print, warm-to-cool color transition, stylized pine needles, expansive empty composition»
«ukyoe123, fukei-ga, full moon rising over tranquil lotus pond at night, silver moonlight on water lily pads, perfect circular reflection, distant temple silhouette barely visible, japanese woodblock print, cool silver-blue tones, large dark empty areas, serene and meditative»
«ukyoe123, fuzoku-ga, lively summer festival at night, crowd of people in yukata carrying lanterns and fans, fireworks exploding overhead, food stalls and dancers, dynamic composition, japanese woodblock print, bright contrasting colors, bold outlines»
«ukyoe123, fuzoku-ga, summer evening firefly viewing by a quiet stream, six or seven people in light yukata sitting along the bank with lanterns, some pointing at glowing fireflies above water, soft reflections in stream, dark green foliage and starry sky, peaceful and magical mood, japanese woodblock print, cool green-blue palette, flat shading, large empty foreground»
