Почему я собрал этот выпуск
Все четыре текста вышли на arXiv 27 октября. Все четыре про то, как генератор встраивается в рабочий процесс.
Одна работа убирает пересъёмку при появлении нового объекта. Вторая превращает видеомодель в управляющую систему для робота. Третья заставляет видеомодель рисовать статичные изображения. Четвёртая измеряет, что из этого вообще работает на телефоне.
Под каждой новостью я пишу, почему это важно. Без этого чтение препринтов превращается в коллекционирование ссылок.
1. ReferStream: новый объект в кадр без пересъёмки
Работа arXiv:2610.37566 решает задачу, которую часто показывают в демо и редко доводят до рабочего процесса. В потоковое видео нужно ввести новый предмет, человека или товар, сохранив уже снятую сцену.
Авторы предлагают метод без дообучения. Референс укладывается в нужную область последнего латента сцены, оттуда берутся признаки в контексте. Затем нужный фрагмент обусловливается новыми признаками, а перезаписанный глобальный кеш восстанавливается.
Проще говоря: модель не перерисовывает прошлое, она вставляет новое и держит память о старом.
Для проверки собран ReferStream Bench со сценариями, где референсы приходят по расписанию, инструкции меняются, а наличие объекта размечено. Метод обошёл базовые решения по следованию тексту, похожести объекта и точности счёта.
Почему это важно: в рекламе товар меняется в последний момент чаще, чем кажется. Возможность добавить его в готовый кадр без пересборки всей сцены экономит и время, и деньги.
2. TAPESTRY: одна модель для видео и робота
Вторая работа, arXiv:2610.36823, берёт предобученный видеодиффузионный трансформер и делает из него управляющую модель для робота. Видео при этом на выходе не генерируется.
Приём в том, чтобы считать действие робота одним патчем в латентном пространстве видеомодели. Линейная проекция переводит шаг действия в размерность патча, дальше работает тот же трансформер, что и для кадров.
Обучение идёт тремя целями: диффузия видео, совместная диффузия видео и действий, диффузия только действий. На тесте модель выдаёт последовательность действий за один шаг DDIM.
Авторы сообщают 84 миллисекунды на порцию действий на потребительском железе. Полное видео при этом не генерируется.
Почему это важно: физика, которую видеомодель выучила на роликах, оказывается полезной вне видео. Тот же приём однажды позволит проверять сцену на правдоподобие движений до рендера.
3. FrameForge: видеомодель рисует картинки
Третья работа, arXiv:2610.36545, использует приоры видеомоделей для генерации и редактирования изображений. Задача старая: одно изображение задаёт условие, текст задаёт цель.
Обычно условие и результат ставят на фиксированные временные позиции. Авторы замечают, что связь между ними в разных задачах разная, и вводят виртуальные временные отношения, которые модель выбирает под вход.
Два механизма отвечают за это: смесь временных экспертов определяет дистанцию до цели, а цепочка временных рассуждений описывает промежуточное состояние с маской внимания.
На DreamBench, COCO2017 и GEdit-Bench метод показал лучшие результаты в генерации по референсу, canny-to-image и редактировании среди сравниваемых подходов.
Почему это важно: граница между видео и картинкой стирается на уровне архитектуры. Команде не нужно держать два разных стека для кадра и для статичного креатива.
4. MoI-Bench: тест генерации на телефоне
Четвёртая работа, arXiv:2610.37599, это бенчмарк для генерации и редактирования изображений на мобильных устройствах. В нём 64 подзадачи и 1150 примеров.
Задачи строятся по двум осям: 16 операций вроде удаления и замены и восемь категорий содержимого, включая портреты и текст. Пересечение даёт конкретные задачи, например удаление макияжа.
Оценка MoI-Eval смотрит на следование инструкции, визуальное качество и сохранение деталей. Итог сводится в карту качества и развёртываемости, где видно, какие пробелы закрывать первыми.
Авторы отдельно отмечают, что узкая задача вроде замены текста важнее общего «улучшить редактирование текста».
Почему это важно: часть правок для массовых вертикальных роликов удобно делать прямо на телефоне. Бенчмарк показывает, какие операции уже можно делать на устройстве, а какие придётся гнать на сервер.
Что общего у этих работ
Все четыре текста про интеграцию. Модель перестаёт быть чёрным ящиком, который выдаёт ролик по промпту, и становится деталью системы: с памятью сцены, с управляемыми действиями, с общими приорами для картинки и видео.
Второе общее место это оценка. Каждая работа приносит свой набор тестов, потому что общие рейтинги не отвечают на вопрос, годится ли модель для конкретной задачи.
Третье: почти везде авторы экономят вычисления. Один шаг на выходе, вставка прямо в готовую сцену, мобильный контур рядом с серверным.
Что с этим делать бизнесу
Первый вывод практический. При выборе поставщика спрашивайте, как модель ведёт себя при добавлении объекта в готовую сцену. Это ближе к реальной работе, чем демо с нуля.
Второй: смотрите на стоимость итерации. Если правка требует полного перегона, вы платите за каждую версию, и тесты становятся роскошью.
Третий: проверяйте, где считается кадр. Для соцсетей часть операций уходит на устройство, и это меняет бюджет команды.
Видео нейросетями уже закрывает фоны и второстепенные планы. Эти работы показывают, что следующим шагом станет управляемая правка внутри кадра, а ручные ролики останутся там, где нужен живой человек и его интонация.
Вывод
Ни одна из четырёх работ не обещает готового продукта. Все четыре показывают направление: генерация становится управляемой, дешёвой по итерации и общей для видео и картинки.
Читать их стоит ради вопросов, которые они задают вашему процессу. Цифры в таблицах вторичны. Сколько стоит одна правка, что происходит со сценой при замене объекта и где считается кадр.
