Нейросети для генерации видео: три новости 30 октября

30 октября собралось три новости, которые касаются одной и той же работы: картинка, звук и выбор модели. Tencent открыла Hy-Nomas, модель мира с весами под Apache 2.0 и тестом на 280 сценариев. Suno Studio обновила редактор клипа. Студия Utopai объявила, что её модель Utopai X вышла на второе место в рейтинге фото в видео. Разбираю по порядку, что там по фактам и что это меняет на практике.

Миниатюрный мир в лотке: камера идёт по оранжевому маршруту, слоты собираются и запоминаются
01

Tencent выложила Hy-Nomas: модель мира с открытыми весами

21 октября Tencent Hunyuan открыла код и веса Hy-Nomas, интерактивной модели мира. Она строит видео по отрезкам, и каждым шагом управляет текст: добавить объект, задать действие, сменить стиль. Второй канал управления это траектория камеры. Предыдущие отрезки модель держит в памяти, поэтому сцена не рассыпается на склейках.

Код лежит на GitHub, датасет тестов на Hugging Face, технический отчёт на arXiv под номером 2610.36729, датирован 27 и 28 октября. Лицензия Apache 2.0, значит запускать можно и в коммерческих проектах без отдельного разрешения.

Внутри диффузионный трансформер на 8 млрд параметров. Текст читает языковая часть Qwen2.5-VL-7B, рядом работает отдельный улучшатель промпта Nomas-PE. Дистиллированная версия собирает отрезок за 4-8 шагов, выход 720 на 1280 при 24 кадрах в секунду. Про 24 fps стоит помнить одну вещь: это скорость воспроизведения, а время генерации зависит от железа.

Штатно модель просит 8 GPU. С квантованием INT8, сжатым кэшем и выгрузкой в RAM она поднимается на одной RTX 4090. В комплекте два LoRA, «кино» и для робототехники. Сообщество уже подключило модель к ComfyUI, SGLang и WanGP.

02

Hy-Nomas-Bench: 280 сценариев в четырёх тестах

К релизу приложили Hy-Nomas-Bench. Это четыре теста на 280 кейсов: многоходовые текстовые команды (60), навигация камерой (100), чередование текста и камеры (60), пространственная память при возврате в то же место (60). Лицензия та же, Apache 2.0.

Оценку людьми проводила сама команда Tencent. По данным отчёта Hy-Nomas лидирует по текстовым командам и по правдоподобию картинки, но уступает Genie 3 в согласованности пространственной памяти. Цифру эту стоит держать с оговоркой: сравнивали свои с чужими, и пересказ отчёта идёт от сторонних разборов.

Схема управления моделью мира: команды текстом, движение камеры и общая память отрезков
03

Почему генерация видео ИИ на открытой модели важна студиям

Genie 4 от DeepMind вышел 27 октября, и он остаётся закрытым превью: доступ по списку, весов нет. Hy-Nomas можно скачать и запустить на своём железе, включая одну карту. Для превиза и раскадровок это первый открытый вариант, где камеру и объекты двигают текстом, без пересборки сцены на каждом кадре.

Практическая разница в том, что превиз перестаёт быть отдельным этапом с чужим сервисом. Раскадровку можно крутить локально, менять траекторию и добавлять предметы, не отправляя материал наружу. Как устроен закрытый конкурент, мы разбирали в материале про Genie 4 со звуком.

04

Suno Studio: ИИ клипы, музыка и стемы в одном окне

Suno обновила Studio 29 октября. Настройки клипа переехали в боковую панель слева от волны: громкость, высота, луп, реверс, тайм-стретч. Отдельная панель Clip Info показывает текст, стиль-теги и разделение на стемы.

Загруженное аудио теперь само подтягивается под темп проекта. Сгенерированные клипы авто-стретч не затрагивает. Клипы без ровного бита и стемы, загруженные вместе, сохраняют исходный тайминг, так что барабанный луп из чужой сессии не поедет.

Подстройка высоты стала точной: полутоны и центы, где 2.38 означает два полутона и 38 центов. Дорожки скрываются по Shift-H и возвращаются по Shift-Alt-H. Плотность и контраст сетки меняются правым кликом по линейке.

Почему это важно. Studio догоняет аудиоредактор: трек для клипа доводят внутри Suno, без выгрузки в DAW и обратной склейки. Для тех, кто делает ИИ клипы, музыка и стемы теперь живут в одном окне, и это экономит самый нудный этап. Пошаговый путь от трека к картинке у нас разобран отдельно: как собрать клип по песне нейросетью.

Аудиоредактор: волна трека, боковая панель ползунков и три дорожки стемов под ней
05

Utopai X и спор за второе место в рейтинге фото в видео

29 октября студия Utopai заявила, что её модель Utopai X заняла второе место в AA-Video-I2V v2.1 от Artificial Analysis по результатам того же дня. В сентябре эта же модель была второй в text-to-video со звуком, Elo 1150 на 29 сентября. Utopai X дообучена на MiniMax H3 и работает внутри платформы PAI, которую студия продаёт для кинопроизводства.

Тут нужна аккуратность. В исходной таблице Artificial Analysis на запуске 28 октября второе место держал Seedance 2.0 с 1132 очками. Рейтинг пересчитывается ежечасно, верхушка статистически плотная, поэтому второе место это заявление компании на конкретную дату, без статуса закреплённого факта.

Почему это важно. Три позиции в топе так или иначе стоят на MiniMax H3: сама H3, H3 Max от fal и Utopai X. Открытые веса стали базой для чужих продуктов, и это меняет логику выбора: смотреть стоит на то, кто дообучил модель под задачу. Полный рейтинг нейросетей фото в видео с ценами за минуту мы собрали в отдельной статье.

06

Что взять из выпуска 30 октября

Три новости складываются в одну картину: открытая модель мира удешевляет превиз, редактор звука забирает монтаж музыки себе, а рейтинги стоит читать по дате и с поправкой на заявление автора. Если нужен ролик под конкретную задачу, посмотрите, как сделать видео нейросетью на наших условиях.

частые вопросы

01Hy-Nomas можно запустить на одной видеокарте
Да. Штатно модель рассчитана на 8 GPU, но с INT8, сжатым кэшем и выгрузкой в RAM она работает на одной RTX 4090. Лицензия Apache 2.0 разрешает коммерческое использование.
02Что именно проверяет Hy-Nomas-Bench
Четыре теста на 280 кейсов: 60 многоходовых текстовых команд, 100 кейсов навигации камерой, 60 на чередование текста и камеры, 60 на пространственную память при возврате в то же место. Набор открыт, лицензия Apache 2.0.
03Utopai X правда на втором месте
Так заявляет студия Utopai по результатам 29 октября. В таблице Artificial Analysis на запуске 28 октября вторым был Seedance 2.0 с 1132 очками, рейтинг пересчитывается ежечасно, и верхние позиции стоят в пределах погрешности.
04Что нового в Suno Studio
Боковая панель настроек клипа, панель Clip Info с текстом и стемами, авто-стретч загруженного аудио под темп проекта, подстройка высоты в полутонах и центах, скрытие дорожек по Shift-H и настройка сетки правым кликом по линейке. Обновление от 29 октября.