Новости нейросетей для видео: выпуск 6 ноября

5 ноября Runway выложила разбор того, как Characters держит 24 кадра в секунду на четырёх H100, Google вывела Gemini Omni 1.2 Flash в общий доступ с клипами до 15 секунд и ценой ниже на 30%, Meta добавила в Muse голос и говорящий аватар. Три новости про разное реальное время, и у каждой своя строка о том, что она меняет в работе над роликом.

Плёнка из кадров, стоп-часы и аватар с микрофоном: три новости про реальное время в видео
01

Runway Characters: 24 кадра в секунду на четырёх H100

5 ноября Runway Research опубликовала разбор «Real-Time Video at Batch Size One» и технический отчёт arXiv 2611.05642. Речь о Characters, авторегрессионной видеомодели примерно на 57 миллиардов параметров. Она отдаёт кадр 704×1088 при 24 fps чанками по четыре кадра каждые 166,7 мс. Слова batch size one в заголовке означают одну сессию на одного человека.

Цифры интересны тем, кто считает железо. По умолчанию сессия занимает 8×H100. На четырёх H100 базовый шаг стоил 240,9 мс, после оптимизаций 159,3 мс, это ускорение в 1,51 раза и 24,5 fps. С fused kernel шаг падает до 147,4 мс, ускорение 1,63 раза. Обслуживание кэша сжали с 69,7 до 6,2 мс.

Телеметрия за семь недель: в 99,5% сессий хотя бы одна секунда шла выше 23,5 fps. Медиана разговорного хода 2,13 с, внутри неё голосовой агент 1,42 с и видеопайплайн 0,49 с. Источник: пост Runway Research от 5 ноября и отчёт arXiv 2611.05642.

Почему это важно: диалог с аватаром упирается в задержку доставки кадра. При шаге в 147 мс персонаж отвечает в темпе живого собеседника, и формат годится для диалоговых сценариев, не только для записанного ролика.

02

Gemini Omni 1.2 Flash: клипы до 15 секунд и минус 30% к цене

5 ноября Google DeepMind вывела Gemini Omni 1.2 Flash в общий доступ на Gemini API и в Google Cloud. Идентификатор модели gemini-omni-1.2-flash. Длина клипа выросла с 10 до 15 секунд, длительность задаётся от 3 до 15 с шагом в одну секунду.

Цена ниже на 30% относительно версии 1.1 и держится около 5,9 ₽ за секунду в 720p. Счёт идёт по видео-токенам: миллион токенов стоит около 1000 ₽, секунда 720p это примерно 5792 токена. Ролик на 15 секунд обходится около 88 ₽.

Кроме длины и цены в релизе четыре пункта. Правка по ходу диалога, multi-turn editing. Референсы держатся точнее, чем у версии 1.1. Звук нативный, в кадр кладётся водяной знак SynthID. Черновик можно гнать в 360p или 720p и потом поднимать до 1080p и 4K. Аудио-референсы открыты по списку доступа.

Почему это важно: 15 секунд закрывают вертикальный слот целиком, а 88 ₽ за попытку делают перебор вариантов обычной практикой. Десять версий одной сцены стоят меньше тысячи рублей, и выбирать можно на монтаже.

Конвейер кадра: камера отдаёт четыре кадра, чип считает, аватар отвечает, под схемой шкала времени
03

Нейросеть для видео новости: у Muse появился голос и аватар

5 ноября Meta включила в приложении Muse для США два режима: Muse Realtime Voice и Muse Realtime Avatar. Вызов идёт по иконке телефона, работает в мобильном приложении, в вебе и на Mac. Режимов три: только голос, аватар рядом с интерфейсом и полный экран. Голосов несколько сотен. Следом обещаны AI Glasses и Muse Charm.

Для сметы важна оговорка: Muse это потребительский агент внутри чата. Генератора рекламных роликов в нём нет, и подменять им производство не выйдет.

В тот же день на странице тарифов Pika появилась пометка о бесплатных генерациях Pika H3 Flex каждый день для планов Creator и Fancy, а Design Radar 6 ноября пишет про 15 бесплатных в день до 15 ноября. Даты окончания акции на основной странице цен нет, так что срок стоит проверять в кабинете.

Почему это важно: голосовой агент с аватаром делает разговорный интерфейс привычным, и зритель постепенно ждёт ответа от персонажа. Пока это история про чат, к производству роликов она отношения не имеет.

04

Новости нейросетей для видео: три скорости за сутки

За одни сутки вышли три разных «реального времени». Runway показала serving: одна сессия, 24 fps, четыре карты вместо восьми. Google добавила времени в клип и сняла 30% цены. Meta сделала разговор с аватаром бытовым. Общего у них одно слово, задачи разные.

Для продакшна роликов важны первые две. Первая говорит, что диалоговый аватар перестал быть демо и держит темп разговора на дешёвом железе. Вторая меняет арифметику черновика: 15 секунд за 88 ₽ позволяют гонять больше версий и отбирать на монтаже. Muse пока про агента в чате, и в смету ролика он не входит.

Ступени падающей цены за секунду и веер из восьми версий одного клипа на выбор
05

Что проверить на своих сценах

Первое: взять сцену с говорящим человеком и прогнать её в Gemini Omni 1.2 Flash на 15 секунд, потом ту же сцену в 720p черновиком с апскейлом. Разница в цене и в качестве на финале будет видна за один вечер.

Второе: посмотреть, как модель держит референс на третьем и четвёртом ходе правки. Multi-turn editing удобен, но на длинной цепочке лицо и одежда начинают расходиться.

Третье: для диалоговых роликов проверить задержку на своём сценарии. Цифры Runway сняты на их железе, и в чужом конвейере медиана разговора может оказаться другой.

06

Как это ложится на клиентскую работу

Короткий ролик с человеком в кадре по-прежнему проще делать на нормальном пайплайне: ручные ролики идут от 16 000 ₽ за готовый ролик, и там за кадр отвечает человек. Свет, мимика и монтаж проверены до сдачи.

Поток вертикальных сцен, где видео нейросетями работает партиями, держится на другом расчёте, до 0,10 ₽ за просмотр. Новая цена секунды у Google бьёт по смете именно там: серия из десяти версий 15-секундного клипа стоит около 885 ₽, и это уже строка в бюджете, которую видно.

Для потока версий, где вертикальная реклама собирается серией, перебор вариантов на дешёвой модели стал нормой. Сравнить с прошлым днём помогает вчерашний выпуск: там Kling 4.0 Flash, GIF у OpenAI и лист персонажа Luma. Верхняя часть таблицы меняется за сутки, и цена сейчас ориентир понадёжнее места в рейтинге.

частые вопросы

01Сколько стоит секунда Gemini Omni 1.2 Flash
Около 5,9 ₽ за секунду в 720p, это на 30% ниже версии 1.1. Биллинг по видео-токенам: миллион стоит около 1000 ₽, секунда 720p примерно 5792 токена. Клип на 15 секунд обходится около 88 ₽.
02Сколько кадров в секунду выдаёт Runway Characters
24 fps при кадре 704×1088, чанками по четыре кадра каждые 166,7 мс. На четырёх H100 шаг после оптимизаций стоит 159,3 мс, с fused kernel 147,4 мс. В 99,5% сессий за семь недель хотя бы одна секунда шла выше 23,5 fps.
03Muse умеет делать рекламные ролики
Нет. Это потребительский агент в приложении Muse с голосом и аватаром, доступен в США на мобильном, в вебе и на Mac. Генератора роликов для рекламы в нём нет.
04Pika даёт бесплатные генерации
На странице тарифов стоит пометка о бесплатных генерациях Pika H3 Flex каждый день для планов Creator и Fancy. Design Radar 6 ноября пишет про 15 бесплатных в день до 15 ноября, даты окончания на основной странице цен нет.