Новые ракурсы из ИИ-клипа: 3D-ролики без перегенерации

Самая дорогая вещь в ИИ-видео это перегенерация: шот не попал в задачу, и вы платите заново. 17 ноября на GitHub выложили скрипт, который превращает готовый пятисекундный клип в трёхмерную сцену и рендерит из неё ракурсы, которых в клипе не было. Разбираю конвейер по шагам, время на MacBook Pro M3 Pro и четыре места, где метод честно ломается.

Плёнка ИИ-клипа рассыпается в облако сплатов, камера внутри снимает новый ракурс
01

Что выложили 17 ноября

17 ноября на GitHub появился репозиторий ai-video-in-code. Автор публикуется под ником sirioberati, лицензия MIT, то есть код можно брать в работу без разрешения и без оплаты. Задача в README сформулирована прямо: взять готовый пятисекундный клип, собранный нейросетью, и получить из него сцену, с которой можно снимать новые движения камеры.

Свои исходники автор делал в Seedance, а инструмент собирал вместе с Claude. Деталь многое объясняет. Код писал человек, который не обязан быть специалистом по фотограмметрии, и именно поэтому конвейер выглядит набором готовых кирпичей: исследовательского проекта в нём нет.

02

Гауссовы сплаты: облако капель вместо кадров

Обычное видео это последовательность картинок. Сцена из гауссовых сплатов устроена иначе: это облако мягких цветных капель в трёхмерном пространстве. У каждой капли есть позиция, размер, поворот, прозрачность и цвет, всего 59 чисел. Резкой границы у капли нет, она размазана по пространству, и вместе сотни тысяч таких капель дают картинку, похожую на кадр.

Отсюда главное свойство. Кадр больше не привязан к точке, из которой его сняли. Камеру можно поставить в любое место внутри облака и посмотреть на сцену оттуда. Для ИИ-видео это меняет логику: раньше новый ракурс стоил новой генерации, теперь он стоит одного прохода рендера.

Конвейер из четырёх шагов: кадры, поиск камеры, обучение сплатов, рендер нового ракурса
03

Конвейер: от клипа до новой камеры

Пайплайн короткий, и разбирать его стоит по шагам, потому что именно шаги объясняют ограничения.

Первое: ffmpeg вынимает кадры. Берётся каждый второй кадр, на пять секунд выходит около шестидесяти картинок. Половина кадров отбрасывается ради скорости.

Второе: COLMAP ищет, где стояла камера в каждом кадре. Это старая программа из фотограмметрии, она сопоставляет точки между кадрами и восстанавливает траекторию съёмки. На пятисекундном клипе уходит от сорока секунд до полутора минут.

Третье: Brush обучает сплаты. Пять тысяч шагов, от двенадцати до девятнадцати минут на MacBook Pro M3 Pro. Это самая долгая часть.

Четвёртое: страница на WebGL2 рисует сцену с новой камеры. От двадцати до двадцати четырёх секунд на пятисекундный шот.

Пятое: ffmpeg собирает mp4. Всё, клип готов.

Ключевая деталь, которую легко пропустить: ИИ здесь работает только на первом шаге, в исходном клипе. Дальше идёт обычный код, геометрия и рендер. Нейросети, которая понимала бы сцену, в пайплайне нет.

04

Почему создание 3d видео из клипа дешевле новой генерации

Самая дорогая вещь в ИИ-видео это перегенерация. Шот не понравился, камера поехала не туда, герой моргнул в неудачный момент, и вы платите заново: за секунды, за очередь, за удачу. При двадцати вариантах одного плана счёт растёт быстро, а брак всё равно остаётся.

Здесь логика другая. Удачный шот перестаёт быть одноразовым файлом и становится ассетом. Из него достают покрытие: обратную точку на тот же стол, наезд под титр, подъём камеры на финальном кадре, обратный проход в начале следующей сцены. Всё это рендерится из одной обученной сцены, без нового обращения к видеомодели.

Практическая разница простая. Двадцать секунд рендера на своей машине против ещё одной генерации, которая может снова не попасть в задачу. Когда ролик собран на пять секунд, а монтажу нужны четыре угла, экономия видна по количеству попыток, которые не пришлось оплачивать.

Камера выходит за границы снятого объёма: за конусом данных рендер рвётся
05

Где 3d ролики ломаются: камера, поверхности, края

Ограничения в README перечислены честно, и они серьёзнее, чем кажется по демо. Обзор Fervor Creative AI от 18 ноября повторяет список и с ним не спорит.

Камера в исходном клипе должна двигаться. Если клип снят со штатива и кадр почти статичен, COLMAP не решит задачу: программа не поймёт, откуда смотрели, и геометрия не соберётся. Инструмент работает только с материалом, где есть параллакс и ход камеры.

Гладкие поверхности превращаются в дым. Белая кружка на белой стене, ровный пластик, стеклянная витрина без деталей. Сплатам не за что зацепиться, и предмет расплывается в облако. Так устроен сам метод.

Камера не может выйти за пределы того, что видел исходный клип. Там, где данных не было, появляются чёрные или размытые края. Дуга на девяносто градусов из пятисекундного фронтального плана вряд ли получится: сбоку информации просто нет.

Блики и отражения плоские. Рендерер рисует только базовый цвет капли, поэтому металл теряет переливы, а стекло перестаёт отражать.

И отдельно: всё проверено только на macOS с M3 Pro. На Windows и на других чипах автор ничего не обещает, так что перенос на рабочую станцию с видеокартой придётся проверять самому.

06

Что это значит для заказчика

Из этих ограничений вытекает одна просьба к исполнителю, и её стоит произнести до начала работы: нужен исходный клип с движением камеры, желательно в максимальном разрешении. Именно этот файл решает, получится ли добрать ракурсы или всё придётся генерировать заново.

Дальше арифметика. Если в ролике планируются обратная точка и наезд под титр, дешевле сразу снимать исходник с медленным движением, чем потом искать обходные пути. Если весь ролик статичный, инструмент не даст ничего, и это нормально: у него другая задача.

Полезная привычка при заказе: договориться, что исполнитель хранит исходные клипы и рабочие сцены, тогда правка не всегда означает новую генерацию. Ролики нейросетями удобно собирать именно из таких исходников. Ручные ролики от 16 000 ₽ считаются иначе: там каждый план собирают и проверяют вручную. Про то, как формулировать движение в промпте, есть отдельный разбор движения камеры в промте для видео, а про превиз камеры до генерации отдельная статья.

07

Мой вывод

Инструмент сырой, и цифры это показывают: до девятнадцати минут обучения на пять секунд, только macOS, один авторский тест. Как продукт он пока не существует, как идея он важен.

Идея в том, что клип перестаёт быть конечным файлом. Пока генерация была единственным способом получить новый ракурс, каждый ракурс оплачивался отдельно и с риском. Гауссовы сплаты меняют смету: один удачный шот может закрыть несколько планов.

Практический вывод короткий. Если вы заказываете ИИ-видео и знаете, что потом понадобится другой угол, просите исходный клип с движением камеры и храните его. Это единственное, что нельзя восстановить задним числом.

частые вопросы

01Можно ли из готового видео сделать новый ракурс
Да, если в клипе двигалась камера и в кадре есть текстуры, за которые цепляется геометрия. На статичном плане и на ровных поверхностях метод не сработает.
02Сколько времени занимает сборка сцены
На MacBook Pro M3 Pro для клипа 1080p: около минуты на поиск камеры, от двенадцати до девятнадцати минут на обучение сплатов, около двадцати секунд на рендер пятисекундного шота.
03Нужна ли видеокарта
Автор проверял работу на macOS с чипом M3 Pro. Про другие платформы в README ничего нет, поэтому обещать перенос на Windows или на дискретную карту нельзя, это придётся проверять самому.
04Какая лицензия у инструмента
MIT. Код можно использовать в коммерческой работе, менять и распространять с сохранением текста лицензии.
05Почему края кадра чёрные
Камера вышла за границы того, что попало в исходный клип. Данных там нет, и рендерер оставляет пустоту или размытие.