Что проверили в University of Illinois Chicago
10 ноября 2026 года в arXiv появилась работа PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation. Авторы из University of Illinois Chicago задали неудобный вопрос: как понять, что модель нарушила физику, если смотреть на клип глазами.
База PhyRubric-Bench: 245 описаний, 34 категории, пять областей физики (механика, оптика, тепло, электричество, акустика), 2 433 сгенерированных клипа. Отдельно 3 788 видео в наборе PhyRubric-Train, на нём дообучен открытый судья PhyRubric-Judge на 8B, собранный из Qwen3-VL-8B-Instruct. По совпадению с оценками людей этот судья держится на уровне закрытой Gemini 4 Argon, так что дорогую модель для проверки держать не обязательно.
Почему одна оценка на глаз ничего не объясняет
Классический бенчмарк видео работает так: человек смотрит клип и ставит балл от одного до пяти. Оценка субъективная, второй просмотр даёт другой балл, а главное, по ней не видно, какой принцип сломан. Клип, где упавший стакан отскакивает как мяч, получит тройку. Что именно в этой тройке, столкновение, вес или траектория, остаётся догадкой.
PhyRubric делает часть работы заранее. Каждое текстовое описание раскладывается на пункты: смысловые, то есть что просили показать, и физические, то есть что при этом обязано выполняться. Потом видео проверяется по каждому пункту отдельно, с отметкой времени, где произошло нарушение. На выходе диагностика, по которой можно править промпт.

Сколько моделей держат описание и физику одновременно
В тесте 10 моделей. Зачёт идёт только там, где клип совпадает с описанием и не ломает физику. Seedance 2.5: 44,20%. Veo 3.1: 36,20%. Лучшая открытая модель HunyuanVideo-1.5-8B: 14,93%.
Есть цифра резче. Доля прогонов, где запрошенное событие вообще не показано, у открытых моделей составляет от 20,0% до 44,5%, у закрытых от 5,7% до 8,6%. Это другой провал, чем неудачная постановка: запрошенного события в кадре просто нет.
Ошибки идут двумя полюсами
40,8% оценённых видео получают по физике 1 или 2 балла, то есть грубое нарушение. 52,9% получают чистую пятёрку. Середина встречается редко, и для практики это удобно: клип либо прошёл проверку, либо сломан всерьёз и требует нового прогона.
Что ломается чаще всего
Самый частый провал это пропущенное следствие, 24,0% от всех провалов. Попросили налить воду, вода не льётся из чашки и уровень в стакане не растёт. Попросили уронить предмет, предмет висит в воздухе. Сцена снята, причинно-следственная связь не снята.
Второй тип это постоянство и счёт объектов, 20,4% провалов. Предметы исчезают между кадрами, удваиваются, два стакана сливаются в один. По таблице авторов у Seedance 2.5 пропущенное следствие встречается в 11,3% видео, у Veo 3.1 в 14,7%. По постоянству и счёту разрыв ещё больше: 5,2% у Seedance 2.5 и 12,9% у Veo 3.1. Отсюда практический вывод: сравнивать модели полезно по тому типу ошибки, который важен именно для вашей сцены.
Что это значит для заказчика реалистичного видео
Сегодня физика в ИИ-видео упирается в следствие: налили, потекло, уронили, упало. Авторы заканчивают формулировкой physical commonsense remains far from solved, и это честная оценка: даже лидер проходит тест меньше чем в половине случаев.
Практика, которую я закладываю в смету. Сцены с причиной и следствием (налить, разбить, уронить, открыть) идут с дублями, потому что с первого раза следствие часто выпадает. Количество предметов в кадре считается глазами на каждом прогоне: два стакана вместо одного это брак, который замечают зрители, хотя автор его пропустил. Один удачный прогон ничего не доказывает, его нужно повторить.
Когда в брифе стоит реалистичное видео, заказчик обычно имеет в виду свет, кожу и текстуру. Физика всплывает позже, на приёмке, когда стакан не падает. Поэтому тест сцены с причиной и следствием я показываю до основной работы.
В производстве видео нейросетями логика та же: сцена считается готовой, когда она повторяется. Для рекламных задач с причинностью (продукт падает в воду, крем выдавливается, крышка открывается) дешевле сразу планировать лишние прогоны. Где физика критична и прогонов не хватает, выручают ручные ролики: там следствие ставят руками и снимают крупно.
Отдельная привычка, которая экономит репутацию: проверка перед публикацией. Материал на эту тему у нас уже есть, и он хорошо стыкуется с выводами статьи. Если сцена собирается кодом, полезен разбор про видео-кодер: часть ошибок там видна ещё до рендера.
Мой вывод
PhyRubric мне нравится тем, что убирает спор о вкусе. Вместо «мне кажется, вода ненастоящая» появляется пункт с отметкой времени.
Ставку на 2027 год я делаю такую: закрытые модели пока не решают физику, поэтому планирование сцен строю от простого к сложному. Сначала статика и один предмет, потом движение, потом взаимодействие двух объектов. Сцены с взаимодействием заказываю с запасом прогонов и с приёмкой по чек-листу, без оценки на глаз.
Ещё одна мысль про ожидания клиента. Фраза «физически правдоподобно» в брифе проверяется на готовом файле, и лучше, чтобы проверял её тот, кто писал сценарий. Показать заказчику тест проблемной сцены до основной работы дешевле, чем объяснять на смонтированном ролике, почему вода стоит на месте.




