Как ИИ видео оживить фото: что модель делает с картинкой

Загрузили картинку, написали «камера медленно наезжает», получили ролик, где герой смотрит в сторону. Между фото и готовым файлом есть несколько шагов, о которых заказчик обычно не знает. Разбираю, что модель берёт из картинки, что из текста, почему первый кадр иногда расходится с исходником и почему к концу ролика всё начинает плыть.

Фотография как якорь: пунктирная траектория кадров уводит от неё в сторону и дрейфует
01

Что модель получает на входе

Картинка в режиме картинка-в-видео работает как условие всей сцены. Runway в официальном гайде Gen-4 Video Prompting Guide пишет прямо: входное изображение задаёт визуальную стартовую точку всего процесса, включая субъектов, композицию, цвета, свет и стиль. Дальше модель достраивает движение, опираясь на это условие.

Простой образ: картинка это якорь, к которому модель привязана в начале, текст это направление, куда её тянуть. Чем дальше от якоря, тем больше модель придумывает сама.

Два термина, которые дальше пригодятся. Якорный кадр это опорное изображение, с которого начинается генерация. Латент это сжатое представление кадров, с которым модель работает внутри и которое разворачивается в пиксели только на выходе.

02

Что генератор видео оживить фото берёт из картинки

Из фото модель берёт внешность героя, расстановку предметов, палитру, направление света и фактуру. Всё это считается уже заданным, поэтому Runway советует описывать в тексте движение. Гайд добавляет деталь, которую заказчики не любят слышать: подробный повтор деталей изображения в тексте может уменьшить движение. Чем старательнее вы перечисляете, во что одет герой, тем меньше он шевелится.

Runway считает картинку и текст одним общим промптом. Отсюда рабочее разделение: фото отвечает за то, как выглядит кадр, текст за то, что в кадре происходит. Если в промпте два абзаца про внешность и полстроки про действие, движение получится вялым.

Схема: фото сжимается в сетку-латент и разворачивается в кадры, которые постепенно смещаются
03

Как это устроено внутри: сжатые кадры вместо пикселей

Открытая модель Vimoo 1.0 (документация и карточка по пересказу llms.blog от 9 ноября 2026) показывает схему, которая встречается и у других. Картинку кодирует отдельный кодировщик изображений SigLIP, видео сжимается и восстанавливается автокодировщиком Wan 2.2 VAE. Простыми словами: модель не рисует миллионы пикселей кадр за кадром, она работает со сжатым представлением, тем самым латентом, а полные кадры появляются на выходе. Модель думает конспектом.

Из этого следует практическая вещь. Мелкая деталь, которая плохо попала в конспект, может появиться не сразу или измениться по ходу ролика. На стоп-кадре этого не видно, на движении видно.

04

Почему первый кадр может не совпасть с картинкой

Документация Vimoo 1.0 называет две причины. Картинка масштабируется и обрезается по центру под формат ролика. Первый кадр не обязательно совпадает с ней пиксель в пиксель. Если фото горизонтальное, а ролик вертикальный, края уйдут, и герой окажется ближе к границе, чем на исходнике.

Отсюда практический совет: мелкие детали вроде принта на футболке, украшения или надписи на упаковке проверять в первом кадре отдельно, расхождение на них видно сильнее всего.

Держать ролик можно не только первым кадром. Гайд Google Gemini Omni описывает режим, где задают первый и последний кадр, а модель строит непрерывное видео между ними. В таком сценарии надо описать, что в первом кадре, какой путь проходит камера и что в последнем. Открытая Pika H3 Flex в Diffusers 0.43, по карточке от 12 ноября 2026, поддерживает первый и последний кадр по отдельности и вместе, плюс мультимодальные референсы. Устройство у моделей разное, поэтому проверять приходится на своём материале.

Камера кадрирует широкую горизонтальную сцену в вертикальный кадр, края остаются за рамкой
05

Почему длинный ролик уплывает

Во многих схемах модель держит недавние кадры подробнее, чем ранние. Показательный пример из мира моделей мира: lucidml выложила на Hugging Face world model по GTA (11-12 ноября 2026, пересказ ArtRealmAI), где стартовая картинка хранится в памяти всё время и никогда не вытесняется, последние два кадра держатся в полном разрешении, а старые остаются сжатыми конспектами. На длинных сессиях картинка всё равно уплывает.

Отсюда понятно, зачем нужны якоря и короткие куски. Kandinsky S2V 1.0 в Diffusers 0.43 оживляет человека по картинке и записи речи, генерирует кусками по 5 секунд и передаёт память между кусками через FramePack. Чем короче отрезок между опорными кадрами, тем меньше свободы у дрейфа. На длинном ролике без промежуточных опор ошибка накапливается, и первыми это выдают лицо, руки и фон.

06

Какую картинку давать

Формат. Картинка должна быть в пропорции ролика. Для вертикали это 9:16, иначе кроп по центру срежет края и сдвинет композицию.

Края. Субъект не у самого края кадра. При обрезке и движении камеры он уйдёт первым.

Чистота. Без артефактов на исходнике. Мелкий текст, лишние пальцы и размытые детали модель принимает за часть сцены и повторяет.

Один центр. Если в кадре три равных героя, модель может начать двигать всех, и внимание зрителя размажется.

07

Что писать в тексте

Текст отвечает за движение: что делает герой, как едет камера, что меняется в сцене. Одна мысль на шот. Описание внешности лучше не дублировать, модель получила её с картинки.

Последний кадр нужен, когда у ролика есть финальная точка: товар лёг в руку, герой повернулся к витрине, машина встала у подъезда. Тогда его готовят и описывают отдельно, как и первый. Если финала нет, хватает движения и одного якоря.

По этой схеме собирается серия: видео нейросетями делается потоком, где у каждого ролика свой якорный кадр и свой короткий текст про движение. Когда нужен один аккуратный ролик под конкретную задачу, это ручные ролики, там кадр доводит человек. Общий порядок генерации, от текста до готового файла, я разбирал в статье как работает генератор видео по шагам. Про управление опорными точками есть отдельный материал первый и последний кадр в ИИ-видео.

08

Мой вывод

Модель не оживляет фотографию в бытовом смысле. Она достраивает сцену от картинки, держит её как опору и постепенно теряет. Практика из этого простая: короткие отрезки, проверка первого кадра на совпадение с исходником, последний кадр там, где важен финал.

Если после первого прохода герой не похож на фото, я правлю вход и оставляю текст в покое. Другой кадр, другая пропорция, другой момент. Текст правит движение, внешность приходит из картинки.

частые вопросы

01Можно ли оживить одну фотографию и получить длинный ролик
Зависит от модели: допустимая длина за один проход у всех разная. Чем длиннее отрезок, тем дальше он уходит от стартового кадра, поэтому длинный ролик надёжнее собирать из отрезков, у каждого свой якорный кадр.
02Почему герой на видео не похож на фото
Чаще всего из-за формата и кропа: картинку масштабируют и обрезают по центру под пропорции ролика. Вторая возможная причина: документация Vimoo прямо пишет, что первый кадр не обязан совпадать с картинкой пиксель в пиксель.
03Обязательно ли писать промпт, если есть картинка
Да. Картинка и текст считаются одним промптом, и движение приходит из текста. Без описания действия модель может оставить сцену почти статичной.
04Что делать, если ролик уплывает к концу
Дробить на короткие отрезки с опорными кадрами и проверять стыки. Если финал важен, задать последний кадр и описать путь камеры между кадрами.