Маленький герой большого кадра

Основная идея — исследовать, как современная нейросеть может передать характер и уникальные черты животного в разных визуальных интерпретациях, включая как реализм, так и стилизованные сюжеты. Проект демонстрирует возможности генерации высококачественных изображений на базе обучающего датасета, а также взаимодействие исходных фотографий с параметрами генерации.

В данном проекте я поставила целью создать серию реалистичных изображений моей семейной собаки Капучины в различных художественных и стилистических сеттингах, используя возможности модели Stable Diffusion XL. Для обучения было собрано около 200 фотографий, отражающих разные ракурсы, выражения и обстановки с участием Капучины.

Все собранные фотографии были кадрированы в формате 1:1. Из всех фотографий в разрешении 512×512 было выбрано 100 наиболее удачных, они и были использованы в тренировке датасета для экономии ресурсов платформы Google Colab.

Итоговая серия изображений в размере 1024×1024 представляет Капучину в различных сеттингах — от повседневных портретов до фантазийных и тематических сцен. В изображениях удалось сохранить ключевые черты и узнаваемость персонажа: форма мордочки, характерный окрас, выразительность глаз, положение ошейника и временами мокрая шерсть вокруг носика.

Несмотря на разнообразие тематик, подавляющее большинство сгенерированных изображений сохраняют общее визуальное сходство с оригинальными фотографиями, на которых обучалась модель — снимками Капучины с камеры телефона.

Даже в тех случаях, когда фон, освещение или образы сильно отличались от реальных условий, нейросеть стремилась сохранить характерную подачу «домашней съёмки», что придаёт итоговым работам достоверность и эмоциональную связность.

Стиль изображения кардинально менялся лишь тогда, когда в промпте явно указывались стилистические особенности, как, например, в случае с образами в стиле кинематографичной секретной операции или героя из фильма «Матрица».

Для придания более четкой стилистики этим изображениям использовались более сложные промпты, составленные с помощью ChatGPT. Его использование позволило сформулировать нужные для изображения эффекты съемки с помощью четких, понятных для Stable Diffusion тэгов, при этом не превышая лимит в 77 слов на один промпт.

Использовались дополнительные методы улучшения качества, такие как увеличение числа шагов при генерировании сложных промптов. Нейросеть эффективно обработала исходные фотографии, сохранив индивидуальность Капучины и атмосферу любительской съемки, при этом добавив художественную выразительность нужным кадрам.