Что именно анонсировали
4 ноября аккаунт PixVerse опубликовал короткое объявление: референсное видео загружается как depth control, генерация повторяет движение, а персонажи, объекты или сцена меняются на другие.
Смысл в разделении труда. Источник отвечает за движение и камеру, промпт отвечает за то, кто в кадре и что вокруг. Раньше обе вещи приходилось описывать словами и надеяться, что модель поймёт.
Цены и длительности клипа в объявлении нет, поэтому смету под конкретный проект по этому посту не собрать. Остаётся техника: что режим умеет и где он окупается.
Depth control и reenactment: разница в механике
Инструменты класса reenactment ведут героя по скелету: из источника вытаскиваются позы, тело нового персонажа строится под них. Kling Motion Control и Viggle работают в этой логике, и от них ждут точного попадания в анатомию.
В анонсе PixVerse речь идёт про карту глубины. Она описывает, что ближе к камере, что дальше и как это меняется от кадра к кадру. Геометрия движения сохраняется, а внешность, одежда, свет и фактура приходят от генератора.
Отсюда рабочее следствие: depth спокойнее переносит смену героя и локации, потому что не привязан к конкретному телу. Платой за свободу становится точность мелкой пластики.
Замена персонажа на видео: рабочая последовательность
Порядок, к которому я бы шёл на первом тесте:
Пятый пункт важнее остальных. Если ошибка повторяется от прогона к прогону, дело в референсе, и его проще заменить, чем лечить промптом.
- Выбрать референс с читаемым движением: один герой в кадре, ровный свет, минимум перекрытий.
- Загрузить его как depth control и оставить движение без правок.
- Описать нового героя, одежду и локацию в промпте, без подсказок про хореографию.
- Сверить первые две секунды с источником: поза на входе, темп, точка выхода из кадра.
- Прогнать два-три прогона на одном референсе и посмотреть, что плывёт стабильно.
Видео в видео нейросеть: где приём экономит часы
Самый очевидный сценарий это рекламные вариации. Один танец, жест или проход сняты один раз, дальше под каждую аудиторию меняются герой, одежда и фон, а движение остаётся тем же. Для вертикальной рекламы такая схема дешевле сборки каждой версии с нуля, потому что референс уже задаёт ритм и точку в кадре.
Второй сценарий это уникализация видео: десять версий одного ролика под разные площадки с новой обстановкой и новым героем, пластика при этом сохраняется. Приём работает, пока движение простое и повторяемое.
Третий сценарий учебный. Снять движение на телефоне и перенести его на другого героя для раскадровки. Здесь точность не критична, и карты глубины хватает.
Motion control AI video и промпт с нуля
Текстовый motion-промпт хорошо работает на коротких движениях: камера облетает, герой поворачивает голову, ткань развевается. Чем длиннее действие, тем больше шансов, что на середине клипа модель собьётся с ритма и потеряет позу.
Depth-референс снимает эту часть работы. Вы уже видели движение, угадывать его не нужно, и повторяется оно от прогона к прогону предсказуемее. Для серии роликов с одним и тем же жестом это экономит основное время, которое уходит на переписывание промпта между попытками.
Обратная сторона в том, что референс нужно иметь. Если движения под рукой нет, его сначала снимают, а это отдельная работа со светом и фоном, которая потом всё равно уйдёт под замену.
Где приём упирается
Слабые места у depth-подхода предсказуемые, и их видно на первом же тесте.
Мелкая моторика: кисти, пальцы, предметы в руках. Карта глубины на таком масштабе шумит, и генератор дорисовывает по догадке.
Перекрытия: герой закрывает лицо рукой, кто-то проходит перед камерой, в кадре стекло или отражение. Глубина теряет границу объекта, и замена начинает ехать.
Быстрые повороты и смаз: если в референсе движение размыто, размытие переходит в результат.
Долгие дубли: чем длиннее клип, тем заметнее накопленный дрейф. Я бы резал сцену на короткие куски и собирал на монтаже.
Мой вывод: когда depth стоит включать
Критерий простой. Если в проекте есть снятое движение, которое нужно повторить с другим героем или в другой локации, depth control экономит время и нервы. Если движения нет и его придумывают с нуля, обычный motion-промпт остаётся быстрее.
Второй критерий это объём. Одна версия ролика не стоит возни с референсом. Десять версий одного танца под разные сегменты уже стоят, и здесь depth встаёт в один ряд с шаблонами и нарезкой.
Для сложных сцен с лицом крупным планом и диалогом я держу в резерве ручную сборку: там важна мимика, а её карта глубины не переносит. Когда версий десятки и они выходят по расписанию, разумно смотреть на потоковую схему, где видео нейросетями собирают партиями под один шаблон: одна и та же подстановка работает на всю серию.
Если нужен разбор того, как устроена подмена героя целиком, у нас есть отдельный материал про замену персонажа на видео: там про идентичность лица и про то, чем такой режим отличается от depth-переноса.
