Описание идеи и исходные изображения
В этой работе мне хотелось поймать и передать атмосферу мультфильма «По ту сторону изгороди». Этот сериал обладает уникальным художественным стилем, средой и нарративом; у него много фанатов, однако ничего похожего за последние 11 лет так и не вышло. Поэтому я посчитал, что будет здорово и важно обучить ИИ, который сможет воспроизводить визуальные аспекты из «По ту сторону изгороди».
Искренне надеюсь, что в будущем обученную мною нейросеть можно будет использовать для генерации концепт артов и небольших драфтовых видео.
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
В начале обучения была поставлена цель перенять цветовую палитру, линии, силуэты и освещение / тени. Во многом эта задача оказалось выполненной.
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Сложность обучения Stable Diffusion напрямую перекликается с особенностями стиля мультсериала. Дело в том, что он совмещает глубоко детализированные объекты окружения — лес, долина, пустошь — и минималистичных, отчасти карикатурных персонажей.
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
После экспериментов с созданием изображений стоит сказать, что обученная модель лучше всего справляется с пейзажными задачами.
Скриншоты для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншоты для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Скриншот для обучения Stable Diffusion, «По ту сторону изгороди», режиссёр Нат Кэш, 2014
Результирующие изображения и пояснения
При генерации картинок я вдохновлялся сюжетными аспектами «По ту сторону изгороди». Так, больше всего было сгенерировано иллюстраций с лесом, потому что герои практически не выбирались из него; получилось много примеров с ветками, кустами и растениями, лесными обитателями и в целом природой.
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Заход солнца в лесу»
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Осенний туманный лес»
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Викторианский коттедж в лесу»
Кроме того, я задавал промпты с мельницами, хижинами и викторианскими особняками, потому что они фигурируют в оригинале и отражают аутентичный быт.
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Пикник в лесу»
Также был сделан акцент на магических / загадочных атрибутах, таких как зеркало, ножницы или пианино.
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Винтажное волшебное зеркало»
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Поезд, пересекающий лес»
Во многом стиль мультика получилось повторить: сгенерированные изображения обладают схожей палитрой, мазками, наполненностью композиции и наложением теней. Тем не менее сеть довольно посредственно справляется с визуализацией антропоморфных существ или животных.
Изображение сгенерированное после обучения Stable Diffusion. Промпт: «Винтажный пароход плывёт по реке»
