Локальные нейросети для генерации видео: Vimoo 1.0

Около 12 ноября на Hugging Face обновились веса Vimoo 1.0: открытая видеомодель с отдельными версиями текст-в-видео и картинка-в-видео, воркфлоу ComfyUI и весами MLX для Mac. Разбираю состав семейства, лицензию и то, что релиз обещает тем, кто собирает ролики о товарах.

Открытая видеомодель: из открытой коробки выходит ряд кадров, товар в них не меняется
01

Зачем ещё одна открытая модель среди локальных нейросетей для генерации видео

Моя позиция простая: каждая открытая модель снижает цену эксперимента. Подписка на облачный генератор навязывает свой лимит и свои тарифы, а локальный запуск позволяет гонять один и тот же промпт через десяток моделей и сравнивать их на своём материале.

В ряд локальных нейросетей для генерации видео встало новое семейство Vimoo 1.0. Веса на Hugging Face обновились примерно 12 ноября, обзор TheNextGenTechInsider вышел 15 ноября, в тот же день прошло обсуждение на Reddit. Счётчик скачиваний на Hugging Face пока невелик, независимых бенчмарков нет. Все заявления ниже принадлежат авторам модели до тех пор, пока сторонние прогоны не скажут своего слова.

02

Локальные модели для генерации видео: состав семейства Vimoo 1.0

Семейство собрано из отдельных моделей под задачу. Текст-в-видео и картинка-в-видео это две разные модели примерно по 11,7 млрд параметров каждая, плюс упрощённая версия Lite около 9,5 млрд. Запускаются они по отдельности, потому что адаптеры между задачами не взаимозаменяемы.

Качество выдачи строится на трёх модулях. Vimoo-PE разбирает и переупаковывает промпт в понятный модели формат, Vimoo-Base выдаёт видео в 720p при 24 к/с, Vimoo-Enhancer дорисовывает детали и поднимает результат до 1080p. Enhancer заявлен как необязательный шаг: базовое видео уже можно отдавать в работу.

Архитектурно это двухпоточный MMDiT. Если простыми словами: текст и видео проходят через сеть двумя потоками и обмениваются информацией на каждом слое, поэтому модель точнее связывает слова с тем, что происходит в кадре. Латент сильно сжат: в 32 раза по пространству и в 4 раза по времени. Латент это внутреннее сжатое представление, в котором модель ведёт все вычисления; чем сильнее сжатие, тем меньше памяти уходит на шаг генерации.

Три модуля модели по порядку: промпт, базовая генерация и необязательный Enhancer в обход
03

ComfyUI генерация видео: воркфлоу, дистилляция и Mac

Форматов запуска три. Первый это пайплайн Diffusers для кода на Python. Второй это воркфлоу ComfyUI, внутри которого дистиллированные LoRA-адаптеры, текстовый энкодер Qwen, SigLIP и VAE. Третий это веса MLX для Mac на Apple Silicon.

Поясню компоненты. Энкодер переводит промпт в числа, с которыми работает модель. VAE сжимает кадры перед генерацией и разворачивает их обратно в пиксели. LoRA это небольшие доборки к большой модели; дистиллированные версии работают за меньшее число шагов. Важная деталь: дистилляция доступна только в ComfyUI и MLX, полные веса идут через Diffusers.

04

Лицензия Apache 2.0: что проверил

Лицензию сверил по карточке на Hugging Face 16 ноября: код и веса Vimoo распространяются под Apache License 2.0. Коммерческое использование, изменение и распространение разрешены на условиях этой лицензии. При повторном выпуске нужно приложить копию лицензии и сохранить уведомления об авторстве, а сторонние компоненты остаются под своими лицензиями.

Для пайплайна студии это практичная позиция: нет ограничений по выручке и нет требований к брендингу авторов на выходе. Ставить модель в коммерческую сборку можно сразу, вопрос только в качестве выдачи.

Три формата запуска: пайплайн для кода, воркфлоу ComfyUI и веса для Mac на Apple Silicon
05

Что заявлено и чему в этом верить

Авторы перечисляют четыре обещания. Точное следование промпту. Обучение на эстетических данных с разметкой света, композиции, контраста и цвета. Видео для e-commerce с устойчивым товаром между кадрами. «Лучшее движение среди открытых и закрытых моделей». Последнее это слова авторов, независимых тестов нет, и мой совет считать любое «лучшее» гипотезой до прогона на своём материале.

В карточке заявлен и отдельный API-режим Vimoo 1.0 Ecom: 20-секундные вертикальные ролики 9:16 в 720p из фотографий товара с названиями, описаниями и продающими пунктами. Направление понятно: серия из кадров товара, где упаковка и форма держатся от первого кадра к последнему.

06

Что это даёт для роликов о товаре

Главная боль e-commerce роликов это одинаковый товар между кадрами: упаковка меняет цвет, этикетка плывёт, размеры гуляют. Открытая картинка-в-видео модель с заявкой на устойчивый товар полезна тем, что её можно гонять на своих материалах без отправки продуктовых фотографий в чужое облако. Проверка занимает один вечер: одинаковый промпт и одинаковые фото прогоняются через новую модель и через ту, что уже стоит в вашем пайплайне.

Если сборка нужна под ключ, у нас есть услуга «видео нейросетями под ключ», а для серий версий под площадки вертикальная реклама для товарных ниш остаётся самым быстрым форматом. Опыта с Vimoo 1.0 у нас пока нет, поэтому перечисленные возможности это заявления авторов.

07

Мой вывод

Релиз стоит добавить в тестовый стенд, если локальный пайплайн у вас уже есть. Две причины: Apache 2.0 снимает вопрос прав на коммерческий вывод, отдельные модели под задачу упрощают сравнение. Перед запуском проверьте три вещи: хватает ли памяти под выбранную версию, сколько шагов отдаёт дистилляция в вашем воркфлоу и держит ли модель ваш товар на серии из пяти кадров.

Про локальную генерацию видео в Diffusers у нас есть отдельный разбор с подводными камнями установки, он закроет половину вопросов по пайплайну.

частые вопросы

01Vimoo 1.0 бесплатная нейросеть для видео или нет
Веса открыты под Apache 2.0 и скачиваются с Hugging Face без оплаты. У разработчика есть отдельный API, его тарифы это коммерческий продукт вендора.
02Потянет ли Mac на Apple Silicon Vimoo 1.0
Для Apple Silicon выложены веса MLX, базовые модели весят около 11,7 млрд параметров, Lite около 9,5 млрд. Авторы позиционируют ComfyUI и MLX как пути для машин пониже рангом, независимых замеров на Mac пока нет, требования к памяти смотрите в карточках весов.
03Можно ли использовать Vimoo 1.0 в коммерческих роликах
Да. Лицензия Apache 2.0 разрешает коммерческое использование, изменение и распространение. Условие: при повторном выпуске приложить копию лицензии и сохранить уведомления об авторстве.
04Что совместимо между версиями Vimoo 1.0
Модели текст-в-видео и картинка-в-видео это два отдельных набора весов, адаптеры между ними не взаимозаменяемы. Дистиллированные версии существуют только в ComfyUI и MLX.