Что NVIDIA выложила 2 ноября
2 ноября блог NVIDIA для разработчиков опубликовал разбор сборки world-моделей для интерактивной симуляции. Речь идёт о Cosmos, платформе мировых фундаментальных моделей и инструментов для physical AI, то есть для систем, которые работают с физикой: роботов, машин, хирургических манипуляторов.
Главное в этом релизе это обвязка вокруг модели. Cosmos Framework описан как открытый набор модульных инструментов: обучение, оптимизация, инференс. К нему прилагаются агентские навыки и рецепты, которые снимают часть ручной работы при сборке пайплайна.
Мне такой слой интереснее очередного демо с красивым кадром. Демо показывает потолок технологии. Фреймворк показывает, сколько людей, недель и гигабайт нужно, чтобы подойти к этому потолку в своей задаче.
Что внутри Cosmos Framework
Раньше Cosmos читался как семейство моделей Cosmos 3. Теперь рамка шире: в неё заявляют Alpamayo, GR00T, Qwen, pi0.5 и совместимые модели с Hugging Face. Практический смысл в том, что один и тот же пайплайн обучения и инференса должен работать на разных архитектурах, без переписывания под каждую.
Данные на входе перечислены без ограничений по модальности: текст, изображения, видео, аудио, действия. Дообучение идёт через LoRA или полный SFT. Форматы наборов: JSONL, WebDataset, LeRobot и собственные адаптеры. Для команды, у которой данные уже лежат в своём формате, последний пункт важнее остальных, потому что адаптер снимает необходимость конвертировать терабайты перед стартом.
RL: пять методов в одном списке
Кроме обучения с учителем, в релизе есть RL-часть: DPO, GRPO, PPO, OPD и DiffusionNFT. Набор покрывает preference-оптимизацию, policy gradient и методы под диффузионные генераторы, то есть разные способы объяснить модели, какой результат считается лучше.
Для видео это принципиальный момент. Лосс по пикселям поощряет усреднённую картинку, и кадр выходит мягким. Оценка по предпочтению или по награде двигает генерацию в сторону того, что человек считает правильным движением, и здесь начинается работа с данными и разметкой.
Какая из пяти схем даст прирост на ваших данных, можно узнать только прогоном. Универсального ответа в блоге тоже нет, там перечислены методы и рецепты к ним.
World model video: рецепты Cosmos 3 Nano
Самая практичная часть релиза это рецепты симуляции для Cosmos 3 Nano. Три сценария: синхронное видео с камеры и LiDAR для автопилотов, двухрукие роботы, хирургические сцены. К рецептам приложены примеры чекпойнтов, и такое уже можно запускать на своём стенде.
Синхронизация камеры и лидара интересна отдельно. Ошибка в пару кадров ломает соответствие точек и картинки, и модель учится на шуме. Кто собирал такие наборы, знает, сколько времени уходит на калибровку до первого запуска обучения.
Двурукие сценарии и хирургия упираются в другое: мелкая моторика и контакт с предметом. Здесь рецепт экономит инженерию: структура пайплайна уже описана и проверена на примерах.
Симуляция видео ИИ: цифры по памяти
NVIDIA приводит требования по памяти для генерации на Cosmos3-Nano: около 58 GiB в BF16 и около 44 GiB в FP8 с выгрузкой части весов. Это уровень одной топовой карты или пары карт поменьше. Для локального стенда такая цифра важнее любых обещаний по качеству, потому что от неё зависит, влезает ли задача в имеющееся железо.
Вторая цифра касается инференса через Cosmos NIM. Спекулятивное декодирование даёт около 2-3 крат среднего ускорения на H200 по заявлению NVIDIA. Независимого замера в блоге нет, поэтому в смету я бы закладывал нижнюю границу и проверял на своём сценарии.
Стрим 5 ноября
Сегодня, в четверг 5 ноября, NVIDIA проводит стрим про Cosmos Framework. Смотреть стоит по двум пунктам: выкладывают ли чекпойнты рецептов и как объясняют перенос на чужие данные.
Остальное из стрима обычно повторяет блог. Время лучше потратить на вопросы в конце, если они будут.
Чем это отличается от Kling и Seedance
Потребительские видеомодели решают задачу короткого ролика: красивый кадр, понятное движение, пара секунд, которые смотрит человек. Cosmos решает задачу среды, в которой объект живёт дольше одного клипа и подчиняется физике.
Отсюда разница в требованиях. Ролику нужна выразительность, симуляции нужна повторяемость: один и тот же вход должен давать один и тот же результат, иначе обучение робота теряет смысл.
Для рекламного продакшена это значит, что Cosmos не заменит Kling на нарезке Reels. Он даёт другой инструмент: генерацию ракурсов и условий, которые дорого или невозможно снимать.
Мой вывод: где Cosmos окупается
В продакшене я вижу два места. Первое: синтетические углы камеры для сцен, которые нельзя снять физически, облёт, вид из точки, куда не влезает кран. Второе: стресс-тесты сцены, когда нужно понять, как декорация и свет ведут себя при движении камеры, до выезда на площадку.
Для массовых Shorts рано. Порог по железу, отсутствие готового интерфейса и цена ошибки в настройке пайплайна пока перевешивают пользу. Командам, которые строят роботов, автопилот или сложный previz, релиз полезен уже сейчас, потому что снимает часть инженерной работы.
Наш опыт с такими задачами лежит в двух плоскостях. Массовые версии роликов мы собираем видео нейросетями, а сцены с актёрской игрой и точной драматургией закрываем как ручные ролики. Похожий разбор был в материале про Cosmos3-H-Dreams: там про симулятор операции и про то, как видео становится управляемой средой.
