Melius Ditto: нейросеть заменяет человека на видео

11 ноября CEO Melius Джувон Ким (Joowon Kim) показал Ditto с подписью The Swap Anything Tool. Инструмент меняет людей, предметы и фон в уже снятом клипе, до 30 замен за один запрос, и обещает сохранить движение, повороты камеры и тайминг. Разбираю, что здесь проверяемо, сколько стоит вход и где начинается риск с чужими лицами.

Два кадра одной плёнки: фигура перекрашена на месте, движение и камера сохранены
01

Что Melius показала 11 ноября

11 ноября CEO Melius Джувон Ким (Joowon Kim) написал в X про новый инструмент Ditto. 12 ноября разбор появился в llms.blog со ссылками на тот же пост и на страницы продукта, API, тарифов и правил. Название у инструмента громкое, The Swap Anything Tool, и обещание простое: в готовом клипе можно заменить человека, предмет или фон, а движение, повороты камеры и тайминг останутся от исходника.

Для студии здесь важен не прирост качества генерации. Важна правка уже сданного ролика. Клиент поменял продукт в линейке, поменял героя, поменял локацию, и раньше это означало пересъёмку или новую генерацию с нуля. Теперь появляется третий вариант: взять работающий мастер и перекрасить в нём то, что устарело.

Обещание это пока слово компании. Публичных замеров Melius не выложила, технического описания конвейера тоже нет, есть анонс и документация API. Поэтому дальше речь о механике и о том, что можно проверить до заказчика.

02

Нейросеть заменяет человека на видео: что меняется в готовом клипе

Вход один: свой файл MP4 или MOV либо трендовый ролик из библиотеки шаблонов Melius с возможностью обрезки. Дальше выбираешь, кого и что заменить, даёшь референс-фото или готовый аватар и запускаешь генерацию. Выход один ролик, где замены уже вклеены в исходное движение.

Практический смысл простой. Один удачный мастер живёт дольше, чем один ролик. Тот же шот можно показать с другим аватаром для другой аудитории, с другим товаром в руках и на другом фоне. Вертикальная реклама так собирает серию версий без повторной съёмки, и там же прячется главная придирка: у каждой версии должны совпадать свет, тени и контакт с предметом.

Схема: один клип, одна генерация и три замены, человек, предмет и фон в кадре
03

До 30 замен за одну генерацию

Melius обещает до 30 замен в одном запросе, все применяются за одну генерацию, за одну цену и на выходе дают один ролик. Это не 30 отдельных прогонов, которые потом надо склеивать. С точки зрения сметы разница большая: 30 мест правки стоят как один запрос.

С точки зрения качества разница обратная. Тридцать замен в одном клипе означают тридцать мест, где может поплыть край, разъехаться тень или дрогнуть рука. Чем больше целей в кадре, тем выше шанс, что одна из них испортит весь дубль, а переделывать придётся целиком. Мой рабочий порядок для серии: сначала один тестовый ролик с одной заменой, потом партия.

04

Как это работает: приложение, API и MCP

Доступ обещан в трёх местах. В приложении Melius, через API и через MCP, то есть агенты вроде Claude или ChatGPT могут вызывать Ditto прямо из чата. Функция в бете и раскатывается постепенно, поэтому вне беты эндпоинты возвращают ошибку до вступления в лист ожидания. Планировать сроки под клиента лучше с этой оговоркой.

В API у каждой замены есть свой референс и тип цели: персонаж, предмет или фон. Текстовое описание обязательно, если меняешь два и больше предмета или фона. Оригинальный звук сохраняется по умолчанию, его можно выключить. Отдельно сделан предохранитель по деньгам: поле maxCredits, и если цена выше указанной, запрос отклоняется, а деньги не берут. Разрешение на выходе от 480p до 1080p и зависит от выбранной модели.

Melius говорит, что собрала собственный конвейер обработки видео из генеративных моделей и классического софта. Каких моделей и какого софта, компания не уточняет. Это значит, что сравнивать Ditto с конкурентами по чужому бенчмарку бессмысленно, тестировать надо на своём материале.

05

Сколько стоит Ditto

Цена за один ролик Ditto не опубликована. Известно другое. В посте Кима была скидка 25% до конца года к 11.11, а тариф Creator стоит около 1430-1680 рублей в месяц, меньше при оплате за год. За эти деньги дают 20 000 кредитов, и, по словам Melius, их хватает примерно на 15 видео.

Если разделить 20 000 на 15, выходит около 1300 кредитов на ролик. Точную цену именно Ditto Melius не называет, поэтому это прикидка для бюджета. Прайсом её называть нельзя. Для студии важнее другое: перекраска готового мастера может уложиться в подписку, а полноценные видео нейросетями считаются отдельно, и наши ручные ролики идут от 16 000 ₽ за работу, где за кадр отвечает человек.

06

Нейросеть заменяющая человека на видео: где она ломается

Слабые места у таких инструментов одинаковые, и Ditto тут не исключение. Контур вокруг головы и волос, кисти рук, пересечения людей в кадре, отражения в стекле, размытие на быстром движении. Там, где инструмент дорисовывает фон и кожу, на сложной текстуре шов читается сразу, даже если зритель не понимает, что именно его смущает.

Второй риск связан с исходником. Движение и камера берутся из клипа, а значит огрехи съёмки переходят в результат: тряска, рыскающий фокус, пересвет на лице. Здесь замена фона на видео нейросетью самый безопасный сценарий, потому что фон прощает больше, чем лицо.

Третье место, где обещание расходится с практикой, это сохранение шота. Похожие инструменты уже двигались в эту сторону: Character Swap в Luma обещал тот же шот, Beeble SwitchX 3.0 работал с фоном и светом, Viggle Remake, Magic Hour и Higgsfield Character Swap решают ту же задачу по частям. Ни один из них не даёт гарантии на сложной сцене, и публичных примеров Ditto на быстром движении я пока не видел.

07

Чужие лица и правила Melius

В правилах Melius прямо запрещено выдавать себя за другого человека и использовать чужую внешность для обмана. Отдельно запрещены интимные изображения реальных людей без согласия, включая сгенерированные ИИ. На практике это означает простую вещь: референс-фото актёра должно быть вашим или согласованным.

Для студии это вопрос документов. Разрешение на использование внешности лучше получить письменно до генерации, особенно если ролик пойдёт в платный показ. Замена героя на чужое лицо без согласия заканчивается претензией к тому, кто нажал кнопку.

08

Мой вывод

Ditto выглядит как инструмент для массовой перекраски работающего ролика, и в этом его главная польза. Новый продукт в линейке, новый аватар под другой сегмент, новая локация для другой площадки. Всё это перестаёт быть поводом для пересъёмки.

Но заходить стоит через тест. Десять секунд самого сложного плана, одна замена, просмотр на телефоне. Если шов не виден и тени на месте, можно брать партию и поднимать число замен. Если виден, дальше нужен ручной проход в монтаже. И отдельно держать в голове, что до 30 замен за раз это про смету. Качество проверяется на своём материале.

частые вопросы

01Заменит ли Ditto человека в готовом видео
Да, это основная функция. Механизм сохраняет движение и камеру исходника, но на волосах, руках и в пересечениях людей результат требует проверки кадр за кадром.
02Сколько замен можно сделать за один раз
До 30 замен в одном запросе. Все применяются за одну генерацию и выходят одним роликом, поэтому каждая дополнительная цель увеличивает риск брака во всём клипе.
03Сколько стоит Ditto
Цена за отдельный ролик не опубликована. Ориентир это тариф Creator примерно за 1430-1680 рублей в месяц с 20 000 кредитов, которых по словам Melius хватает примерно на 15 видео, и скидка 25% до конца года.
04Можно ли заменить лицо на чужое
Технически инструмент это умеет, правила Melius запрещают использовать чужую внешность для обмана. Для рекламы нужно согласие человека, чьё лицо подставляют, и лучше в письменном виде.