Заменить человека на видео нейросеть: что берёт на вход Lockstep
2 ноября в блоге each::labs вышел разбор собственной модели перекаста Lockstep, автор текста Eftal Yurtseven. Перекаст это замена людей в готовом видео на своих персонажей, по одному фото на каждого. Работает как видео-в-видео: на входе исходный ролик и от одного до восьми референс-фото, промпт по желанию, разрешение 480p, 720p или 1080p.
Выход той же длины, что вход, с тем же таймингом и той же камерой. Модель не придумывает сцену заново, она подставляет новых людей в готовую запись и держит её ритм. Мне это ближе к работе монтажёра, который меняет актёров на уже склеенном материале: сцена, свет и монтажные стыки остаются, люди другие.
Три вещи, которые Lockstep обещает сохранить
Первое это движение: шаги и жесты попадают на те же доли, что в исходнике. Второе липсинк: рот следует за исходным исполнением, поэтому реплику можно оставить как есть. Третье камера: ручная тряска, панорамы, быстрые движения остаются на месте.
Фон, свет и кадр по умолчанию тоже не меняются. По описанию компании модель берёт и питомцев, маскотов, стилизованных персонажей, так что человек в кадре не единственный объект для подмены.
Сам я эти три обещания пока не проверял, поэтому держу их как заявку, которую надо смотреть на своём материале.
Заменить персонажа на видео AI: теги @Image1 и группа за прогон
Персонажи отмечаются в промпте тегами @Image1, @Image2 и дальше по порядку загруженных фото. В примере компании промпт выглядит так: «Replace the runner with @Image1. Set the scene in a school hallway.» Заменить так можно сразу целую группу за один прогон, и для групповых сцен это удобно.
Совет от each::labs простой: писать в промпте только то, что меняется. Движение уже есть в исходном видео, повторять его словами незачем. Фраза про школьный коридор как раз из этой логики: меняется сцена вокруг, персонаж приходит из фото.
480p на черновик, 1080p на финал
Совет компании по режимам: черновики гонять в 480p, финал рендерить в 720p или 1080p. Движение от разрешения не меняется, поэтому первый прогон дешевле делать на низком. Смысл в отборе дубля: на 480p видно, попал ли человек в позу и в ритм, а детали лица всё равно оценивают на финальном разрешении.
Я бы добавил свою привычку: первый прогон делать на самом коротком куске, где есть и шаг, и поворот головы. Если на таком фрагменте лицо держится, длинный ролик соберётся.
Цена: почти 75% дешевле и до 3,8 раза
Про деньги each::labs пишет конкретно: перекаст почти на 75% дешевле других моделей, а на тех же четырёх трендовых роликах конкуренты брали до 3,8 раза больше. Кого считали, в тексте не сказано, названий конкурентов рядом с цифрами нет, отдельный разбор у компании посвящён сравнению с Genjutsu.
Независимой проверки этих чисел нет. Тарифов за секунду в разборе тоже нет, поэтому в рубли я не перевожу: без цены за секунду или за прогон любой пересчёт был бы догадкой.
Снял один раз, перекастил под каждый рынок
Самое полезное применение здесь в рекламе. Одна съёмка ролика и пять версий с разными ведущими под разные рынки: переснимать не нужно, второй раз платить за площадку, свет и монтаж тоже. Такую схему у нас собирают как обычный рекламный ролик, а версии потом меняются перекастом.
Компания называет и другие сценарии: тренды, каскадёрские сцены, ИИ-инфлюенсеры. Для вертикальной рекламы механика та же: один удачный кадр с человеком и десяток версий под площадки и языки.
Там, где в кадре нужна живая интонация и точная речь, дешевле снять человека: ручные ролики у нас начинаются от 16 000 ₽. Перекаст поверх такой съёмки как раз и даёт экономию на второй и третьей версии. Старую задачу «заменить человека в видео нейросеть» эта модель тоже закрывает, только движение в кадре остаётся от настоящего актёра.
Доступ: API, поля и готовые шаблоны
Модель открыта в трёх местах: playground, API и workflows each::labs. В API она называется lockstep, версия 1.0.0, поля такие: video_url, image_urls, prompt, resolution, webhook_url. Этого набора хватает, чтобы поставить перекаст в очередь и забирать результат по вебхуку.
Для трендов есть двухшаговые шаблоны, среди них Concert Main Character и Dancing Pet Trend. Шаблон снимает сборку промпта, и на потоке однотипных роликов это экономит больше времени, чем сам прогон.
Риски и мой вывод
Перекаст упирается в права на лицо. Согласие человека, права на его изображение и маркировка такого видео остаются заботой заказчика: модель просто подставляет картинку. Подробнее мы писали об этом в материале о замене лица на видео нейросетью, там же про закон и согласие.
Второй риск в источнике цифр. Качество и цену в разборе оценивает сама компания, независимых тестов пока нет, и решение о покупке я бы строил на своём получасе материала.
Третий момент в аналогах. Runway Character Swap делает похожую вещь внутри своей экосистемы, и читать два разбора рядом полезнее, чем верить одному.
Вывод короткий: беру Lockstep под одну задачу, серию версий одного рекламного ролика под разные рынки. Прогон на коротком куске в 480p покажет, держит ли модель шаг и рот. Схемы без съёмочного дня здесь нет: фон, свет и кадр по умолчанию остаются снятыми, значит исходник всё равно нужен.
