Идея проекта
Красный узорчаты турецкий ковер совершенна привычная для нашего глаза вещь. Такой кавер как будто был у все, так или иначе. Кто-то водил по его узорам пальцем перед сном, кто-то разглядывал его причудливую композицию свешиваясь с дивана.
Мне захотелось исследовать то как создаются эти завораживающие узоры, взаимодействуют между собой и научить нейросеть воссоздавать их.
Примеры исходные изображений
Для обучения был собран датасет из 44 изображений традиционных турецких и восточных ковров 15 — начала 19 века.
Источники:
Metropolitan Museum of Art. Музей предоставляет открытый доступ к изображениям из своей коллекции под лицензией CC0 (общественное достояние). Это ковры XV–XIX веков из Анатолии, Кавказа и Персии.
Victoria and Albert Museum. Использованы в соответствии с некоммерческой образовательной лицензией музея. В коллекции представлены турецкие и кавказские ковры XVIII–XIX веков.
Процесс обучения
Для дообучения модели под стиль турецких ковров был выбран метод DreamBooth с LoRA (Low-Rank Adaptation) на базе Stable Diffusion XL (SDXL).
Автоматическая генерация описаний (капшенизация) Для каждого изображения были автоматически сгенерированы текстовые описания с помощью модели BLIP (Bootstrapping Language-Image Pre-training) от Salesforce. Модель должна понимать, что именно изображено на картинке.
Запуск обучения
Серия изображений
Для генерации финальной серии использовались промпты, активирующие специальный токен TURKISH_CARPET, который модель запомнила в процессе обучения. Варьируя описания, я проверял, насколько гибко нейросеть управляет композицией, насыщенностью и детализацией узоров.
Простой промт даёт достаточно классические композиции ковров — с центральным медальоном и раппортом по краям, со сложными орнаментами, напоминающими оригинал. Модель уверенно воспроизводит многослойную структуру: центральное поле, главный бордюр, второстепенные каймы.
Промты: TURKISH_CARPET style handmade rug with central medallion, traditional motifs, red-blue TURKISH_CARPET style Persian rug with floral motifs, blue and gold colors
Промт: TURKISH_CARPET style handmade rug with central medallion, traditional motifs
Промты: TURKISH_CARPET style vintage kilim rug with symmetrical patterns, warm colors TURKISH_CARPET style handmade rug with central medallion, traditional motifs
Промтом можно менять композицию ковров, делая её без центрального медальона. Модель сгенерировала плоский безворсовый ковёр с симметричным раппортным узором, где акцент смещён на повторяющиеся геометрические фигуры или вовсе абстрактные узоры.
С помощью промта можно редактировать насыщенность ковров. Приведенный ниже выглядит более современно за счет ярких цветов, немного по детски и синтетически.
Промт: TURKISH_CARPET style bright oriental rug, red blue yellow colors, bold geometric patterns, high detail
Коментарий
В результате нейросеть освоила главное: цветовую гамму(все сгенерированные ковры сохраняют насыщенный красный фон с акцентными оттенками синего, слоновой кости и золотистого), геометрическую структуру (узоры строятся на восьмиугольниках, ромбах, звёздах и зигзагах с характерной плотностью орнамента), композиционные схемы (от центрального медальона до раппортного узора). Изображения выглядят именно как тканые ковры, с лёгкой неидеальностью линий, которая всегда отличает ручную работу от машинной и ещё кажутся мягкими ворсистыми как подобает ковру.
Проект показал, что традиционные турецкие ковры — отличный объект для обучения генеративных нейросетей. Геометрическая структура, повторяемость элементов и чёткая цветовая схема легко усваиваются моделью даже на относительно небольшом датасете.
