Что Artificial Analysis запустила 28 октября
Бенчмарк AA-Video-I2V v2.1 открылся 28 октября в 16:39 по UTC, то есть ночью на 29 октября по Пекину. Вместе с ним вышел вариант без звука AA-Video-I2V-Silent v2.1. Оба работают с видео до 1080p и сравнивают модели слепо, попарно: оценщик видит два ролика на один стартовый кадр и выбирает лучший, не зная авторов.
Разбор анонса лежит на hub.baai.ac.cn, ссылку на него AA дала в X и LinkedIn. Смысл затеи простой. До сих пор модели обсуждали по демо в соцсетях, а здесь появился общий счёт с описанной методикой и закрытым набором заданий.
Рейтинг ИИ для видео: как считают очки
Промпты и голоса. В v2.1 тысяча промптов и больше 58 000 голосов. В беззвучной версии 500 промптов и больше 44 000 голосов. Голосуют приватные оценщики из США и Великобритании. Публично видно 5% промптов, сам набор меняется каждый месяц, а голоса открытой Арены в рейтинг не идут.
Задание. На вход модель получает стартовый кадр 1920×1080 в PNG и промпт под него. Задания разложены по 10 сценариям (например, Marketing & Advertising), 10 способностям (например, Human Anatomy, Text Rendering) и 8 стилям.
Просмотр. Ролик смотрят минимум 8 секунд, звук идёт в наушники, громкость выравнивают до минус 18 LUFS.
Счёт. Elo по модели Bradley-Terry, якорь Kling 3.0 1080p (Pro) держится на 1000. Цена в таблицах это стоимость минуты видео по API.
Сравнение нейросетей для генерации видео: топ-5
Пять строк укладываются в 40 очков, и AA прямо пишет, что первые позиции статистически в пределах погрешности. Ставить на первую строку как на единственный факт я бы не стал.
| Модель | Elo | Что известно |
|---|---|---|
| Seedance 2.5 | 1148 | самая дорогая в десятке, 2 866 рублей за минуту |
| Seedance 2.0 | 1132 | первая по синхронизации звука |
| MiniMax H3 (768p) | 1126 | открытые веса, 403 рубля за минуту |
| MiniMax H3 Max | 1116 | дообучена в fal, первая в беззвучном рейтинге |
| Wan 3.0 | 1108 | первая в text-to-video |
Кто в чём первый
Seedance 2.5 лидирует в 11 категориях: анатомия, управление камерой, ретейл и e-commerce. Seedance 2.0 первая по синхронизации звука и по свету с материалами. MiniMax H3 (768p) первая по рендерингу текста. MiniMax H3 Max выигрывает беззвучный рейтинг, а синхронизация звука у неё самое слабое место.
Среди открытых моделей H3 (768p) первая с отрывом 209 очков: у следующей, LTX-2.5 Fast, 917. Цена лидера и цена открытой модели расходятся примерно в семь раз, 2 866 рублей против 403 рублей за минуту.
Генерация видео из фото: почему лидер другой
Самое интересное в релизе это перестановки между двумя рейтингами. Wan 3.0 первая в text-to-video (AA-Video-T2V v2.1) и только пятая в image-to-video. Seedance 2.5 наоборот: пятая в T2V и первая в I2V. В мультфильмах и аниме Seedance 2.5 поднимается с 7-го места в T2V на 1-е в I2V. Такие прыжки показывают, насколько порядок зависит от типа задачи, и рейтинг нейросетей для генерации видео пересчитывают постоянно.
Вывод для бизнеса простой. Анимация готового кадра (товар, персонаж, кадр из съёмки) и генерация с нуля это две разные работы, и лидер у них разный. Если есть фото товара и нужен ролик на 5-8 секунд, смотрите на таблицу I2V. Если сценарий пишется с чистого листа, работает таблица T2V.
Заявка Utopai и как её читать
29 октября студия Utopai заявила, что её модель Utopai X заняла 2-е место в AA-Video-I2V v2.1 по результатам того же дня. Utopai X построена на MiniMax H3, об этом говорит сама студия. Проверить заявление снаружи нельзя, а рейтинги AA пересчитывают каждый час, так что второе место может оказаться состоянием на вечер того дня. Свойством модели оно от этого не становится. Пока это заявление компании, и читать его стоит именно так.
Чего рейтинг не показывает
Воспроизвести рейтинг снаружи нельзя: набор промптов закрыт, оценщики анонимны, прогнать свои ролики через ту же схему не получится. Второе ограничение это погрешность. 40 очков между первым и пятым местом на тысяче промптов выглядят как плотная группа, и внутри неё порядок может меняться от месяца к месяцу. AA заявляет, что не берёт денег за место, и это единственное, что защищает таблицу от подозрений.
Свою проверку я делаю на своих кадрах: беру два товара и персонажа, гоняю через API две-три модели из верхушки, потом смотрю на цену минуты и на то, сколько версий пришлось выбросить. Такая выборка грубее тысячи промптов, зато отвечает на вопрос, который важен для сметы.
Как выбирать модель под задачу
Анимация товара и персонажа. MiniMax H3 (768p): открытые веса, 403 рубля за минуту, первое место среди открытых. Для потока коротких роликов это самый предсказуемый вариант по деньгам.
Надписи в кадре. Тоже H3 (768p), она первая по рендерингу текста. Для рекламы с ценой и названием на экране это важнее общего Elo.
Синхронизация звука. Seedance 2.0. Если в кадре человек говорит, разница слышна сразу.
Максимальное качество без ограничений по бюджету. Seedance 2.5, 2 866 рублей за минуту и первое место в 11 категориях.
Дальше решает объём: вертикальная реклама и массовые серии требуют другой схемы, один шаблон, много версий, цена за штуку. Там, где в кадре нужен живой человек, выручают ручные ролики, и это самая устойчивая часть бюджета. Если нужен разбор по шагам, у нас есть материал о том, как устроено производство видео нейросетями, и отдельный текст про то, как делается генерация видео из фото.
