Движение камеры в промпте: как описать его модели

Движение камеры кажется простой частью промпта: добавил слово dolly, получил проезд. По факту модель либо ставит кадр на штатив, либо уносит камеру в облёт, которого в задании не было. Разбираю, что про камеру написано в гайдах Runway Gen-4 и Gemini Omni и как из этого собрать текст, который модель понимает с первого прохода.

Камера на рельсе едет одним движением к единственному кадру-рамке с фигурой в ней
01

Почему камера ломается чаще сюжета

Промпт на движение камеры пишут в последнюю очередь, между описанием героя и погоды. В ответ модель держит кадр неподвижно или улетает в облёт, которого никто не просил. Камера для модели такая же деталь сцены, как персонаж, и подчиняется она правилам из документации.

Ниже только три официальных источника: Gen-4 Video Prompting Guide у Runway, гайд по промптам Gemini Omni у Google DeepMind и документация Google Cloud по промптам для видео.

02

Что говорят официальные гайды: Runway Gen-4 и Gemini Omni

Runway пишет, что Gen-4 делает ролик 5 или 10 секунд по входной картинке и тексту. Картинка задаёт стартовую точку, поэтому текст должен описывать движение, а повтор деталей картинки может уменьшить движение. Отсюда правило для image-to-video: пересказ внешности героя съедает ход камеры.

Начинать гайд советует с простого промпта с главным движением, потом добавлять по одному элементу: движение субъекта, камеры, сцены, стилевые описатели.

Отрицания не поддерживаются и могут дать обратный результат. Пример из гайда: вместо «No camera movement. The camera doesn't move» писать «Locked camera. The camera remains still.».

У Google DeepMind акцент другой. Сначала кадр: общий, средний или крупный. Потом движение: плавное или резкое. Для непрерывного кадра просят one continuous shot или oner. Статику задают словами static, locked off, fixed, движения называют push in, punch in, dolly zoom, тип камеры тоже: natural smartphone zoom, film camera, webcam style. Google замечает, что Omni нуждается в подробных инструкциях меньше, чем Veo.

Документация Google Cloud перечисляет движения: static и fixed, pan, tilt, dolly in и out, truck, pedestal, zoom, crane, aerial или drone, handheld, whip pan, arc.

Схема из четырёх шагов промпта: движение камеры, цель, скорость и кадр в конце проезда
03

Как написать промт для генерации видео с движением камеры

Мой набор из четырёх слотов: тип движения термином из списка, направление и объект (toward the hands, from the character), скорость (slow, quick) и то, что в кадре в момент остановки.

Собранный пример: Slow dolly in from medium shot to close-up on the hands, ending on the fingertips.

Одно движение на шот. Gen-4 делает 5 или 10 секунд, и это одна сцена. Попытка расписать каждую секунду со сменами сцен, «камера крутится на 360 и уходит под воду», по гайду даёт непредсказуемый результат. Нужно три движения, значит три шота.

Нужен один дубль, так и пиши: one continuous shot. Google в примере добавляет no jump cuts. Для режима первого и последнего кадра гайд требует описать, что видно в первом кадре, точный путь камеры и что видно в последнем. Так собирают облёты, зум-переходы и зацикленные ролики.

Разговорные команды вроде can you please add Runway просит не писать. Камера это часть сцены, её описывают так же, как действие героя.

04

Таблица: движение, английская запись, результат

Скорость в гайдах встречается лишь в отдельных примерах (slow dolly out, quickly tilting up), поэтому её стоит дописывать самому. Для панорамы и наклона скорость решает больше, чем тип: quick tilt up читается как рывок, slow tilt up как вдох.

ДвижениеКак записатьЧто получитсяГде в гайде
СтатикаLocked camera. The camera remains still.Кадр стоит, двигается только субъектRunway Gen-4, Gemini Omni, Google Cloud
НаездSlow dolly in toward the handsКамера плавно идёт к рукамGoogle Cloud, Gemini Omni
ОтъездSlow dolly out from the character to emphasize isolationГерой уменьшается в кадре, читается одиночествоGoogle Cloud
Панорама и наклонQuick tilt up from the shoes to medium shotКамера рывком уходит вверх от обуви к лицуGemini Omni
Смазанный поворотWhip-pans, one continuous shotКамера рвёт по дуге, склейка не читаетсяGemini Omni
Ручная камераA handheld camera tracks the characterЖивая тряска, документальная подачаRunway Gen-4, Google Cloud
Кран и облётCrane up, aerial shotПодъём над сценой, вид сверхуGoogle Cloud
Дуга вокруг герояArcКамера обходит субъект по дугеGoogle Cloud
Зум-ударDolly zoomФон растягивается, герой остаётся в размереGemini Omni
Девять пиктограмм движений камеры: наезд, отъезд, панорама, наклон, дуга, кран и ручная
05

Три примера было и стало

Пример первый, статика через отрицание на Runway Gen-4.

было: No camera movement. The camera doesn't move. A man sits on a stool.

стало: Locked camera. The camera remains still. A man on a stool turns his head toward the window.

Камера стоит, герой поворачивает голову к окну. Второй вариант убирает отрицание и оставляет в кадре одно движение, человеческое.

Пример второй, пять движений в одном шоте на Gemini Omni.

было: Camera spins 360 degrees, goes underwater, flies up and zooms into the eye.

стало: One continuous shot. Slow push in from medium shot to close-up on the eye.

Один непрерывный кадр, плавное приближение от среднего плана к крупному на глазу. Из пяти идей осталась одна, и она выполнима за 5-10 секунд.

Пример третий, пересказ картинки вместо движения в image-to-video.

было: A woman in a beige coat with brown hair stands in a bakery, warm light, wooden shelves.

стало: Handheld camera tracks the woman as she walks along the counter, then settles on the tray of bread.

Ручная камера ведёт героиню вдоль прилавка и останавливается на лотке с хлебом. Картинка на входе уже есть, поэтому весь текст ушёл в движение.

06

Создание видео по промту: где камера стоит в тексте

Runway советует начинать с главного движения и добавлять по одному элементу: движение субъекта, камеру, движение сцены, стиль. Жёсткой очерёдности в гайдах нет. У меня камера стоит сразу после субъекта и действия, стилевые слова в конце: так камеру проще найти и поменять на следующей итерации.

У Gemini Omni порядок слабее: модель требует меньше подробностей. Камеру там правят после генерации, диалогом по готовому видео, например over the violinist's shoulder.

Держать в тексте стоит только детали, которые управляют кадром. Промпт на сорок слов с одним движением работает устойчивее простыни, где камера упомянута один раз между курткой и прогнозом погоды.

07

Чек-лист перед отправкой в генерацию

Одно движение камеры на шот, остальные разнесены по шотам.

  • Тип движения назван термином из гайда: dolly in, tilt up, arc.
  • Есть направление и объект, к которому едет камера.
  • Есть скорость, если она важна для смысла кадра.
  • Назван последний кадр: на чём камера останавливается.
  • Статика написана утвердительно: locked camera, the camera remains still.
  • Для непрерывного кадра стоит one continuous shot.
08

Мой вывод

Камера в промпте это инструкция оператору, и модель выполняет её буквально. Одно движение, четыре слота, утвердительная статика и названный финал кадра убирают самые частые причины перегенераций.

Дальше решает разметка: шоты склеиваются в сцену, и тут помогают промпты для ИИ-видео в целом. Когда серия вертикальных роликов собирается под ключ, движение камеры закладывается на раскадровке, и это уже работа видео нейросетями в нашем исполнении. Ручные ролики берут камеру из съёмки, промпт для новых планов пишется по тем же правилам. Разбор, как подписать референсы в промпте, у нас отдельный.

частые вопросы

01Одно движение камеры это обязательное правило
В гайдах это рекомендация для ролика длиной 5-10 секунд, который считается одной сценой. Что два движения в одном шоте сработают предсказуемо, гайды не обещают.
02Чем pan отличается от dolly
Pan это поворот камеры вокруг своей оси, кадр меняет направление взгляда. Dolly это физическое движение камеры вперёд или назад, меняется масштаб и перспектива. В документации Google Cloud они идут отдельными пунктами.
03Почему модель игнорирует слово static
Слово static в гайдах есть, у Gemini Omni вместе с locked off и fixed. Частая причина, о которой прямо пишет Runway, это отрицание рядом: фраза про то, что камера не движется, может сработать наоборот.
04Можно ли поменять камеру в готовом ролике
У Gemini Omni да, камеру правят диалогом по готовому видео, например over the violinist's shoulder. В остальных случаях проще перегенерировать шот с уточнённым промптом.