Character Sheet: что Luma показала 4 ноября
Анонс вышел в официальном аккаунте Luma Labs в X, формулировка короткая: если герой уже получился, следующий ракурс не должен делать из него другого человека. Инструмент собирает набор референсов в один лист персонажа и оставляет этот лист рабочей основой для следующих кадров.
Механика простая. На входе картинки героя, на выходе общий лист с несколькими ракурсами. К листу возвращаются на каждой новой сцене, вместо того чтобы заново прикреплять те же файлы и надеяться на совпадение.
Публичная карточка пока короткая. В ней нет цены, нет лимита по числу референсов, нет списка моделей, с которыми лист работает. Судить приходится по обещанию и по устройству самой функции.
Нейросеть персонаж видео: почему дрейфует лицо
Дрейф начинается там, где модель не знает, что должно остаться прежним. Один кадр в фас задаёт нос, разрез глаз и посадку плеч, а затылок, линию челюсти в профиль и рисунок ткани на повороте ей приходится достраивать по вероятностям. Достраивает она правдоподобно и каждый раз немного иначе.
На одном ролике это незаметно. На серии из десяти сцен ошибка копится: во второй герой чуть мягче, в пятой похож на брата, в восьмой зритель теряет узнавание. Монтаж держится на том, что человек в кадре один и тот же, и любая подвижка в чертах ломает эту связку сильнее, чем шум, свет или кривой переход.
Для рекламной серии с одним героем цена такой подвижки выше, чем кажется. Клиент помнит лицо из утверждённого кадра, зритель узнаёт героя по трём приметам, и пересборка сцены из-за родинки не на том месте съедает день работы.
Паспорт персонажа до первого клипа
Character Sheet переносит в инструмент то, что студии давно делают вручную: паспорт персонажа до генерации клипов. В такой паспорт идут фас, профиль, три четверти, полный рост и пара эмоций, рядом описание одежды и примет. Пока папки нет, каждый промпт начинается с описания героя словами, и слова каждый раз ложатся чуть иначе.
Смысл листа в том, что он фиксирует решение. Пока персонаж не утверждён, варианты полезны, а после утверждения любой новый ракурс это проверка на верность паспорту. Художник в студии работает по такому же принципу: сначала модельный лист, потом раскадровка.
Второй эффект практический. Лист можно показать клиенту до того, как потрачены деньги на клипы. Спор про брови или длину куртки решается на статичной картинке, до первой оплаченной генерации.
Серии и UGC-аватары: где это экономит
Экономика здесь считается регенерациями. Каждая лишняя попытка это оплаченная генерация и минута монтажа, а в серии из тридцати коротких версий повторы складываются в отдельную статью расходов. Один утверждённый лист убирает часть повторов в самом начале работы.
UGC-аватар живёт по той же логике: один человек в кадре, много сцен, разный фон и разный текст. Пока лицо держится, подписчик воспринимает ролики как один канал. Как только герой поплыл, лента превращается в набор незнакомцев, и охват проседает по причине, которую в отчёте не видно.
Для вертикальной рекламы это ещё важнее: там один и тот же герой идёт через десяток креативов, и дрейф между ними читается как разные люди в разных кампаниях. Отдельный случай, когда героя подменяют в уже снятом кадре: замену персонажа мы разбирали в блоге.
Чего в анонсе нет
Ни цены, ни лимита референсов, ни слова про API и открытые веса. Планировать смету по числу генераций рано: непонятно, сколько картинок тянет лист и как он ведёт себя на человеке в полный рост.
Замеров у функции нет. Анонс даёт обещание, сравнивать Character Sheet с другими способами удержания героя пока нечем. Первое, что стоит проверить самому: держит ли лист мелкие детали на повороте в три четверти, не плывёт ли принт на одежде и совпадает ли тон кожи между кадрами при разном свете.
Отдельный вопрос, который в анонсе не затронут: что происходит с листом, когда герой меняет одежду по сюжету. Паспорт фиксирует приметы, а смена костюма это уже другая сущность, и как инструмент это различает, из карточки не ясно.
Что проверить в нейросети персонаж видео на своём проекте
Первое: один герой, один лист. Не пытаться уместить в паспорт двух персонажей сразу, иначе приметы перемешаются.
Второе: тест на пяти ракурсах до запуска партии. Фас, профиль, три четверти, полный рост, ракурс со спины. Если на четвёртом картинка разваливается, дальше считайте по другой схеме.
Третье: хранить лист отдельно от промптов сцены. Правка света или фона не должна переписывать паспорт, иначе через неделю никто не вспомнит, какой вариант был утверждён.
Для заказа, где в кадре живой человек, арифметика другая: ручные ролики идут от 16 000 ₽ за готовый ролик, и там лицо не дрейфует по определению. Серийное производство с фиксированным героем удобнее собирать вокруг формата: ведение YouTube-канала стоит от 16 000 ₽ в месяц, а видео нейросетями закрывает черновые сцены и перебивки.
Мой вывод
Для серий и UGC-аватаров такой лист важнее очередного плюс 0.1 к Elo в лидерборде. Рейтинг говорит, насколько модель хороша в среднем, а лист решает конкретную задачу: герой остаётся собой на десятом кадре.
Ставить Character Sheet в работу сразу я бы не стал. Анонс короткий, цены и лимитов нет, значит первый шаг это тест на своём персонаже и своём свете, с запасным вариантом в виде ручной сборки референсов. Если лист держит три четверти и принт, он забирает у художника рутину и оставляет ему решения.
Проверять стоит ещё и на длинной дистанции. Дрейф редко заметен на одной сцене и почти всегда виден на сборке из двадцати. Прогон серии целиком, до монтажа, покажет больше, чем десять отдельных кадров.
