Оливка вокруг света

Я очень люблю путешествовать, но не могу брать с собой свою любимую кошку Оливку. Поэтому мне захотелось создать альтернативную реальность, в которой Оливка может путешествовать вместе со мной.Для этого проекта я собрала датасет из фотографий Оливки и обучила собственную LoRA-модель на базе Stable Diffusion XL. Моей задачей было научить нейросеть узнавать внешность именно моей кошки, а затем генерировать её фотографии в разных точках мира.

На первом этапе был собран датасет из 16 личных фотографий, обрезанных до квадратного формата.

В Google Colab мной была подготовлена среда:— среда выполнения переведена в режим GPU;
— установлены библиотеки: diffusers, transformers, accelerate, peft, bitsandbytes;
— загружен скрипт обучения DreamBooth и LoRA.После этого изображения были загружены в Colab и проверены на корректность.

Для улучшения обучения модели я использовала модель BLIP, которая автоматически создала текстовые описания для каждой фотографии Оливки. К каждому описанию я добавила общую характеристику «a photo of TOK cat», где TOK cat использовался как уникальный идентификатор Оливки. Это помогло модели связать фотографии с конкретным персонажем, запомнить характерные особенности внешности моей кошки и впоследствии воспроизводить её в новых изображениях и локациях.

Для обучения моей модели я использовала DreamBooth и LoRA. В качестве базовой модели была выбрана Stable Diffusion XL (SDXL). Для обучения я подготовила фотографии моей кошки Оливки в разрешении 1800 × 1800 px. Чтобы сократить время обучения и расход ресурсов GPU, количество шагов было ограничено до 500. После завершения обучения полученная LoRA-модель была сохранена и загружена на Hugging Face.После обучения я подключила LoRA к базовой модели Stable Diffusion XL и начала генерировать новые изображения с помощью промптов. В рамках проекта «Оливка вокруг света» я создавала фотографии Оливки в разных странах и городах, используя узнаваемые достопримечательности: Эйфелеву башню в Париже, Великую Китайскую стену, храм Сэнсо-дзи в Токио, Биг-Бен в Лондоне, Бурдж-Халифу в Дубае и другие локации. Главной задачей было сохранить узнаваемую внешность Оливки, одновременно помещая её в новые места и создавая впечатление настоящего путешествия.

После обучения модели мне удалось получить серию изображений, на которых Оливка появляется в разных странах и городах. В большинстве генераций модель сохраняла основные особенности её внешности: окрас шерсти, форму мордочки и общий образ. Благодаря этому Оливка оставалась узнаваемым персонажем на протяжении всей серии.

В процессе генерации я заметила, что результат сильно зависит от формулировки промпта. Если указывать только название города или страны, окружение часто получалось нейтральным и место было сложно определить. Более удачные результаты получались при указании конкретных достопримечательностей, например Эйфелевой башни, Великой Китайской стены или Биг-Бена.

При этом модель не всегда точно сохраняла внешность Оливки. В некоторых генерациях менялись черты мордочки, пропорции тела или детали окраса. Чем сложнее был промпт и чем больше дополнительных элементов требовалось создать, тем заметнее могли становиться эти изменения.

В результате эксперимента я пришла к выводу, что лучше всего работают короткие и конкретные промпты с конструкцией «a photo of TOK cat» и указанием одной узнаваемой локации. Это позволило получить более цельную серию и сохранить баланс между узнаваемостью Оливки и разнообразием мест её виртуального путешествия.

Для меня этот проект стал способом объединить личную историю, любовь к путешествиям и возможности генеративного искусственного интеллекта. Несмотря на то, что модель не всегда идеально сохраняет внешность Оливки, итоговая серия передаёт первоначальную идею — создать воображаемое путешествие, в которое я могу взять своего питомца с собой.