Концепция
Проект посвящён созданию кастомной нейросети на базе Stable Diffusion XL для генерации изображений в стилистике игры The Walking Dead от Telltale Games. Основой послужила визуальная эстетика игры, вдохновлённая комиксами: грубые контуры, выразительная штриховка, ограниченная палитра, мягкие тени для создания объёма и акцент на эмоциональной выразительности глаз персонажей.
Модель обучается на специально собранном датасете квадратных изображений, отражающих визуальные особенности этой стилистики, включая постапокалиптическую атмосферу — с грязью, повреждениями и мрачной средой. Цель — получить инструмент, способный генерировать оригинальные сцены и персонажей в духе игры, сохраняя её уникальное сочетание комиксовой графики и реализма.
Создание датасета
Для начала я собрала 217 скриншотов из всех частей игры The Walking Dead от Telltale Games, чтобы обеспечить нейросеть разнообразным и репрезентативным визуальным материалом. Все изображения были приведены к квадратному формату 512×512 пикселей непосредственно в Google Colab, что позволило сразу подготовить их к обучению модели.
Скриншоты из серии игр The Walking Dead
Подготовка
Для обучения я использовала метод DreamBooth с LoRA-адаптацией — он позволяет эффективно дообучать модель даже при ограниченных ресурсах видеопамяти (VRAM).
Создание метаданных для обучения
Для корректной работы модели Stable Diffusion необходимо, чтобы каждое изображение сопровождалось текстовым описанием, помогающим нейросети лучше улавливать визуальные особенности стиля. С этой целью формируется специальный файл metadata.jsonl, в который для каждого изображения добавляется подпись, составленная из заданного префикса и автоматически сгенерированного текста.
Подключение к HuggingFace
Чтобы получить доступ к ресурсам на Hugging Face, я инициировала авторизацию через функцию notebook_login(). После ввода персонального API-ключа стала доступна загрузка моделей и датасетов, необходимых для процесса обучения.
Обучение модели
Сохранение модели
Загрузка модели на Hugging Face начинается с определения имени пользователя с помощью токена. Затем автоматически формируется уникальное название репозитория, в который сохраняются результаты обучения и сама модель.
Работа с моделью
Активирую VAE, загружаю Stable Diffusion XL в формате float16 и указываю репозиторий с LoRA-весами, чтобы модель могла работать в требуемом стиле. Затем переношу всё на графический процессор для ускорения генерации изображений и оптимизации использования памяти.
Результаты генерации
prompt = «close-up of a young man with fire reflected in his eyes, expression of shock and anger, light from flames on face, dark surroundings, in The Walking Dead art style.»
После обучения нейросеть смогла приблизиться к визуальному стилю, характерному для The Walking Dead. В сгенерированных изображениях проявляется «рисованная» графика с чёткими контурами, контрастными цветами и грубыми тенями, что приближает их к атмосфере оригинальной игры.
- prompt = «a zombie standing still in a foggy field, its face resembles someone familiar, staring blankly at the camera, surrounded by silence and tall grass, in The Walking Dead art style.»
- prompt = «makeshift surgery in an abandoned hospital room, dirty tools, flashlight illumination, tense expressions, in The Walking Dead art style.»
