Виртуальная примерка на видео нейросетью: модель и вещь

Фото человека плюс фото вещи, на выходе ролик, где эта вещь на нём сидит. Звучит как один запрос к модели, а внутри пять шагов контроля и два места, где всё ломается: ткань и лицо на третьем повороте. Разбираю пайплайн, который доводит примерку до пригодного клипа.

Два фото — силуэт человека и вещь на белом — сходятся в полосу кадров, где человек поворачивается в этой вещи
01

Что просят, когда нужна примерка одежды ИИ

«Есть фото модели и фото товара, сделайте видео, как она это носит». Такую фразу я слышу от брендов одежды, от продавцов на маркетплейсах и от магазинов с одной точкой в торговом центре. Запрос «примерка одежды ИИ» означает ровно это: короткий ролик, где вещь сидит на человеке, ткань и фурнитура читаются, лицо остаётся тем же лицом.

Присылают обычно набор из трёх-четырёх файлов: студийное фото человека в полный рост, фронтальное фото изделия на белом, фото спинки, иногда крупный план манжеты или молнии. Из этого набора собирается клип длиной от пяти до пятнадцати секунд. Больше для карточки и не нужно: зритель смотрит такой ролик две секунды и листает дальше.

02

Пайплайн: видео товара нейросетью из двух фото

Схема короткая. Референс человека задаёт лицо, телосложение и одежду, в которой он уже снят. Фронт и спина изделия задают крой, цвет, плотность и мелкие детали. Дальше модель собирает движение: человек поворачивается, камера идёт по дуге, в середине может стоять match cut на крупный план.

Внутри схемы две цели, и путать их нельзя. Первая это identity: одно и то же лицо в каждом кадре, те же пропорции, те же волосы. Вторая это fabric consistency: одна и та же ткань, одинаковые складки на одинаковом движении, одинаковый отлив. Если ролик прошёл по лицу, а ткань в нём меняет плотность от кадра к кадру, клип не годится.

Схема пайплайна: референсы человека и вещи, пять шагов контроля и поворот на девяносто градусов под лупой
03

Где рвётся: ткань, спина, лицо на третьем повороте

Ошибки повторяются из проекта в проект. Ткань «плывёт»: модель дорисовывает складки, не зная веса материала, и лёгкий шёлк в её исполнении ведёт себя как плотная шерсть. Спина изделия не совпадает с фронтальным референсом, если спинку не прислали: шов придуман, вытачки стоят не там, принт обрывается на середине. Лицо дрейфует на третьем повороте, потому что модель теряет референс и достраивает профиль по памяти. Логотип на груди плывёт: буквы расползаются, кромка вышивки дрожит.

Отсюда правило, которое экономит мне половину переделок. Проверяю проблему на одном движении, весь ролик гоняю позже. Поворот на девяносто градусов показывает сразу лицо, ткань и поведение мелких деталей.

04

Порядок контроля: пять шагов до финального рендера

Чистые product flats. Белый фон, изделие разложено ровно, без заломов от упаковки, фронт и спина в одном масштабе.

  • Нейтральный свет на модели. Никаких цветных отражений и жёстких теней на лице, иначе модель тянет этот оттенок на ткань.
  • Короткий клип на пять-восемь секунд. Проверяем identity и посадку, пока рендер дешёвый и быстрый.
  • Удлинение и multi-turn edit. Только после того, как лицо и ткань держатся на первом движении.
  • Ручная врезка packshot в конец. Статичный кадр изделия на белом закрывает вопросы к деталям и заодно даёт монтажную точку.
Сравнение тканей: лёгкая струящаяся ткань с длинными складками против плотной с короткими заломами на одном силуэте
05

Свежий пример класса: Omni 1.2 Flash

Пятого ноября Google выложил блог про Omni 1.2 Flash, и там virtual try-on показан прямо: пятнадцать секунд, повороты на 360 градусов, одна и та же вещь на человеке. Отдельно заявлено улучшение приверженности референсу. Для меня это ориентир уровня задачи, который класс моделей уже держит, и повод не тащить в продакшн пять инструментов сразу.

Один пример из блога не значит, что любая вещь получится с первого прогона. Он значит, что пятнадцать секунд с полным оборотом перестали быть фокусом.

06

Форматы: видео для карточки товара 9:16 и 16:9

Для маркетплейса хватает вертикали 9:16 и восьми-двенадцати секунд: один поворот, крупный план ткани, packshot в конце. Для сайта логичнее 16:9, потому что блок на странице товара горизонтальный и ролик там играет в фоне. Требования площадок к карточке я разбирал отдельно, в гайде про видео для карточки товара: там про спеку и модерацию, здесь про движение вещи на человеке.

07

Где заканчивается экономия

Экономия реальная. Съёмка лукбука на восемь образов это день на площадке, фотограф, стилист, аренда и ретушь. Примерка из готовых фото закрывает часть этих образов без выезда. Условие одно: ткань и фурнитура должны читаться.

Сложный трикотаж это крупная вязка, ворс, ангора, кашемир с пухом. Прозрачные ткани это шифон, органза, сетка. Там модель теряет структуру волокна, и вещь начинает выглядеть нарисованной. Это зона ретуши или обычной съёмки.

Дальше вопрос объёма. Один клип можно собрать за вечер своими руками. Серия на десять артикулов с единым светом и ретушью требует человека за кадром: у нас это ручные ролики от 16 000 ₽. Когда примерка идёт под рекламу, вертикальная реклама собирает из тех же клипов серию версий с разными хуками. Общий список работ лежит в разделе видео нейросетями.

08

Мой вывод

Нейросеть экономит съёмку, пока вещь простая по фактуре. Кожа, деним, плотный хлопок, спортивная синтетика выходят предсказуемо. Ворс, прозрачность и сложный крой требуют ретуши, и обещать клиенту иначе нечестно.

Мой порядок запуска: сначала пять-восемь секунд на одном повороте, просмотр на телефоне, потом решение про серию. Если на тесте поплыл логотип, я меняю референс или ухожу в съёмку, потому что повторный прогон даст тот же результат.

частые вопросы

01Можно ли сделать примерку из одного фото модели и одного фото вещи
Да, для простого кроя этого хватает. Для пиджака, пальто и вещей с посадкой по фигуре лучше добавить фото спинки и крупный план фурнитуры, иначе модель придумает шов.
02Сколько длится рендер клипа на пятнадцать секунд
Зависит от сервиса и разрешения. Тест на пять секунд обычно проходит за минуты, полный оборот на пятнадцать секунд дольше, и часть времени уходит на повторные прогоны после правок референса.
03Подойдёт ли такое видео для маркетплейса
Да, вертикаль 9:16 на восемь-двенадцать секунд закрывает требование карточки. Проверьте, что в кадре нет чужих логотипов и что лицо модели не меняется между кадрами: модерация смотрит на это внимательно.
04Что делать, если ткань плывёт
Сузить движение, дать модели больше референсов ткани и укоротить клип. Если после этого складки всё равно меняют плотность, вещь уходит в ретушь или в съёмку.