FastFrames: локальные нейросети для видео за 36 мс

Рекорд, который легко пропустить: Apple выложила открытые модели, которые рисуют кадр за 36 миллисекунд, и это быстрее, чем глаз замечает паузу. Работает такое на B200, лицензия разрешает только исследования. Разбираю, что эта скорость меняет для заказчика ролика и почему ставить FastFrames на рабочий стол пока рано.

Лента кадров: новый кадр залит акцентом, следующий ещё пунктиром: генерация почти без паузы
01

Что Apple выложила 16 и 17 ноября

С датами стоит разобраться сразу. Шестнадцатого ноября на Hugging Face появились веса, семнадцатого выложили код. Дальше опираюсь на репозиторий и пересказ ReelStack от 17 ноября, так что часть деталей может поменяться, когда выйдет нормальное описание от авторов.

FastFrames это две модели для генерации видео по тексту: FastFrames-S на 1,3 млрд параметров и FastFrames-L на 14 млрд. Обе помечены как исследовательские, обе открытые.

02

Как FastFrames собирает следующий кадр

Модели авторегрессионные: очередная порция кадров строится по уже сгенерированному и по новому вводу. Внутри двухшаговая видеодиффузия. По-человечески это значит, что модель не рисует весь ролик из промпта одним куском, она продолжает сцену, которая уже стоит в кадре.

Готовый скрипт «текст в видео» выдаёт 832x480 при 16 кадрах в секунду, 81 кадр за запуск. Восемьдесят один кадр это около пяти секунд движения в одном проходе. FastFrames-L обучена на основе Wan2.1-T2V-14B.

Схема: кадры идут цепочкой, сверху в каждый входит ввод, назад к прошлому тянется петля
03

Нейросети для локальной генерации видео: что значат 36 мс на кадр

Цифры у авторов такие. Малая модель делает кадр примерно за 36 мс на одной карте B200, это около 28 ответов в секунду. Большая около 45 мс на кадр, но на узле из восьми B200, зато картинка реалистичнее. По качеству малую модель авторы ставят рядом с лучшей моделью, которая работает примерно в восемь раз медленнее.

Тридцать шесть миллисекунд это чаще, чем киношные 24 кадра в секунду, и чаще, чем 30 кадров в секунду телевидения. Отсюда формулировка «почти в реальном времени»: следующий кусок движения появляется раньше, чем глаз успевает зафиксировать паузу. Обычная генерация в облаке отвечает секундами, и там вы ждёте готовый файл целиком.

04

Два демо и мировая модель LingBot

Кроме самих моделей Apple выложила оптимизированную сборку мировой модели LingBot на 1,3 млрд параметров. Авторы заявляют ускорение в 16 раз, эта сборка питает демо с управлением с клавиатуры. Второе демо двигает объекты с физикой, оно называется RealWonder.

Схема: черновые кадры упираются в шлагбаум с замком, за ним только пустая рамка финального кадра
05

Зачем локальные нейросети для видео заказчику ролика

Тут начинается польза для обычного заказа. Пока клиент не видел движения, он обсуждает слова: «пусть будет динамичнее», «а можно камеру ближе». Живая раскадровка снимает половину споров. Восемьдесят один кадр за запуск это кусок около пяти секунд, который можно собрать, показать, поправить промпт и собрать заново, пока разговор ещё идёт.

Второй сценарий это превью. Когда в серии вертикальных роликов меняется один шот, быстрая модель даёт черновик движения за секунды, и на нём видно, попадает идея в кадр или нет. Дальше черновик уходит в нормальную сборку, а зритель видит уже финальный ролик.

06

Почему это пока не инструмент для работы

Причина первая и главная это лицензия. Apple Machine Learning Research Model разрешает только исследования, клиентские и коммерческие работы под неё не подпадают. Пока текст лицензии не изменился, FastFrames годится для экспериментов и разговора о технологии, для сдачи заказчику он закрыт.

Причина вторая это железо. Требования в репозитории короткие и жёсткие: Linux x86-64, видеокарта NVIDIA, CUDA 12.8. Рекордные 36 мс получены на B200, точных чисел на других картах в описании нет.

Причина третья это сборка. Нодов ComfyUI пока нет, то есть привычного пути «поставил и нажал» у локального пользователя не будет, пока кто-то их не напишет.

Причина четвёртая это формат. 832x480 при 16 кадрах в секунду это уровень черновика, в эфир такое не уходит. Для превью и раскадровки хватает, для готового ролика нет.

07

Что смотреть дальше

Три вещи. Первая: страница проекта и статья на arXiv, там будут нормальные таблицы и оговорки, по которым видно, с чем именно сравнивали качество. Вторая: ноды ComfyUI, без них модель живёт в руках людей с докером и доступом к B200. Третья: лицензия, потому что от одной строки в ней зависит, появится ли инструмент в студийной работе.

Контекст у темы уже есть. Runway Characters на четырёх H100 показал, как интерактивность выглядит у большой студии. FastFrames идёт с другой стороны: маленькая открытая модель, которая обещает похожую скорость на одной карте.

08

Вывод

Скорость перестаёт быть тем, что отделяет мечту от работы. Когда кадр появляется за 36 мс, генерация превращается в инструмент разговора: сказал, увидел, поправил. Это меняет то, как заказчик выбирает идею, потому что варианты можно смотреть живьём, без описания в переписке.

Дальше начинается скучная часть. Лицензия, Linux, B200, отсутствие нодов. Пока всё это на месте, FastFrames остаётся исследовательским релизом, который интересно потрогать и нельзя положить в смету.

Практический вывод для студии простой: следить за лицензией и за появлением сборок, клиентские ролики собирать на том, что разрешено. Когда FastFrames разрешат для коммерции и упакуют в нормальный интерфейс, вернусь к теме с замерами.

Под такие задачи есть услуги: видео нейросетями и ручные ролики. Смежные материалы: живой аватар в реальном времени.

частые вопросы

01Можно ли делать клиентские ролики на FastFrames
Нет. Лицензия Apple Machine Learning Research Model разрешает только исследования, коммерческие и клиентские работы под неё не подпадают. Пока текст не изменился, модель годится для экспериментов.
02Какая видеокарта нужна для FastFrames
Нужна NVIDIA с CUDA 12.8 и Linux x86-64. Рекордные 36 мс на кадр получены на B200, по другим картам точных чисел в описании нет.
03Есть ли FastFrames в ComfyUI
Нодов пока нет. Код и веса открыты, собрать пайплайн руками можно, готовой сборки для ComfyUI на 18 ноября не выложили.
04FastFrames генерирует видео в реальном времени
Почти. Малая модель выдаёт кадр примерно за 36 мс, это около 28 кадров в секунду, но один запуск даёт 81 кадр при 832x480 и 16 кадрах в секунду. То есть кусок около пяти секунд, который складывается на глазах.