Дубляж видео нейросетью: ElevenLabs Dub & Sync

12 ноября 2026 в творческом приложении ElevenLabs появилась функция Dub & Sync: видео загружается, целевые языки отмечаются, на выходе дубляж, где губы говорящего подогнаны под новую озвучку. Раньше это были два шага и две модели. Разбираю, что меняется в работе и что смотреть на первом прогоне.

Один оранжевый поток идёт от динамика в рот говорящего: дубляж и липсинк за один прогон
01

Что ElevenLabs выпустила 12 ноября

Функция Dub & Sync появилась 12 ноября 2026 года в ElevenCreative, творческом приложении ElevenLabs. Официальный релиз, пересказ вышел на thereelstack.com 12.11.2026. Порядок работы простой: загружаешь видео, выбираешь целевые языки, получаешь дубляж, где губы говорящего подогнаны под новую озвучку. Один прогон, промпт писать не нужно.

Цен и числа доступных языков в анонсе нет. Смотреть в самом приложении: там видно, что входит в подписку и какие языки открыты на аккаунте.

02

Нейросеть для дубляжа видео: что поменялось в порядке работы

До 12 ноября цепочка состояла из двух звеньев. ElevenLabs Dubbing отдавал переведённую озвучку, а синхронизацию губ делали отдельным шагом: моделью Sync 3 от той же ElevenLabs или сторонним инструментом.

Два звена означают два файла, две очереди и стык, который легко потерять. Дорожку перегнали, липсинк поставили, а на монтаже выяснилось, что губы живут на полсекунды раньше звука. Ловить такое по кадрам дороже, чем прогнать всё сразу. По сути Dub & Sync сокращает путь между озвучкой и картинкой, и узкое место было именно на стыке.

Схема сдвига: дорожка звука и движение губ на крупном плане расходятся по времени
03

Дубляж видео нейросетью: чек-лист перед сдачей

Список проверок у меня короткий, и все пункты снимаются за один просмотр с блокнотом.

Крупные планы. На общем плане мелкая рассинхронизация почти не видна, на лице видна каждая доля секунды. Отдельно смотреть кадры, где человек говорит в камеру: глаза и рот читаются вместе, и расхождение ловится сразу.

Скорость речи. Фраза на десять слов в оригинале и её перевод редко занимают одинаковое время. Если перевод длиннее, подача ускоряется или подрезаются паузы, и герой начинает частить. Первыми выдают подгонку места, где в оригинале была пауза.

Имена и термины. Названия компаний, имена людей, узкие термины остаются самым хрупким местом любого дубляжа. Их сверяют по субтитрам и по списку, который готовят до прогона, потому что на слух в чужом языке ошибка не читается.

Длина фраз на другом языке. Русский текст обычно длиннее английского, и в ролике с жёстким хронометражем это упирается в кадр: реплика кончилась, а рот героя ещё двигается. Здесь помогает правка текста под длину. Ускорение дорожки слышно как торопливость.

04

Где синхронизация губ ломается чаще всего

Три ситуации предсказуемы. Первая это профиль и поворот головы: модель видит половину рта и дорисовывает движение по догадке, на повороте губы начинает вести. Вторая это быстрая речь с перебивками, где паузы короче, чем нужно переводной дорожке. Третья это перекрытие: рука у лица, микрофон, борода, шарф. Всё, что закрывает рот, снижает точность подгонки, и это свойство любого липсинка.

Отдельно про диалоги. В разговоре на двоих у каждого говорящего своя дорожка, и на перебивках возможен сдвиг на долю секунды. Смотреть стыки реплик, там же искать момент, когда один герой ещё говорит, а второй уже открывает рот. Про тайминг реплик при дубляже у меня есть отдельный разбор: там про длину фразы и про то, куда ставить паузы.

Три случая поломки липсинка: поворот в профиль, рука у рта, перебивка двух говорящих
05

Когда нужен человек-редактор

Дубляж можно принять автоматически, если ролик короткий, герой один и говорит в камеру ровно. Редактор нужен в трёх случаях: длинная форма с терминами, материал с юридическим весом и всё, что идёт в платный показ.

В длинной форме копится расхождение по темпу. Каждая реплика по отдельности выглядит прилично, а десять минут подряд звучат как два разных человека. Правка тут ручная, и она занимает больше времени, чем сам прогон.

В рекламе добавляется ответственность за смысл. Если переведённая фраза обещает больше, чем оригинал, вопрос уже не к синхронизации губ. Поэтому рекламные переводы проходят через человека, и полный разбор темы лежит в материале про перевод и дубляж видео нейросетью.

06

Что в тот же день показали другие

12 ноября на презентации Baidu модель Wizshot-ME описывали как озвучку целого сценария за один проход вместо нарезки кусков примерно по 30 секунд, об этом писало Sina Finance. Логика совпадает с релизом ElevenLabs: производители убирают склейку, на которой слышны швы и гуляет темп.

Десятого ноября 2026 ElevenLabs выпустила Scribe v3, распознавание речи на 102 языках, с заявленными 27 процентами меньше ошибок в словах, чем у Scribe v2. Цифры от самой компании, независимых замеров на 13 ноября нет. Для дубляжа это вспомогательный шаг: транскрипт идёт в субтитры и в сверку имён, и там он экономит время редактору.

07

Права и согласие

Dub & Sync работает с готовым видео, и это задаёт два условия. Права на материал должны быть у того, кто загружает ролик. Согласие говорящего на локализацию нужно собрать заранее: человек должен знать, что его лицо и голос появятся на другом языке.

Это стоит обсуждать до сметы, потому что задним числом согласие не собирается. Для рекламных роликов к этому добавляется вопрос площадки: заранее проверить, требует ли она пометку об ИИ-контенте.

08

Мой вывод

Для коротких роликов на несколько языков Dub & Sync закрывает рутину: один прогон, один файл, синхронизация внутри. Для видео нейросетями локализация долго оставалась отдельным узким местом, теперь её можно закрыть одним прогоном, если тест на крупном плане проходит.

Заметнее всего выигрывает вертикальная реклама: версии под разные страны делаются пачками, и каждая раньше требовала отдельного прохода липсинка. Ручные ролики от 16 000 ₽ остаются там, где в кадре нужен живой человек и его реакция на площадке, и дубляж этого не заменяет.

Мой порядок на новом проекте: прогон на десяти секундах проблемного плана, потом решение про весь ролик. Если на крупном плане губы плывут, дальше идёт правка текста под длину фраз и ручная сверка.

И последнее. Функция вышла 12 ноября, цен и числа языков в анонсе нет, поэтому смету считать рано. Сначала приложение, два тестовых ролика, потом обещания клиенту.

частые вопросы

01Нужно ли писать промпт для Dub & Sync
Нет. Загружается видео, отмечаются целевые языки, дубляж с подгонкой губ приходит после прогона. Ни промпт, ни отдельный проход липсинка не требуются.
02Сколько языков поддерживается
В анонсе числа нет. Доступные языки видно в приложении на своём аккаунте, там же смотрится тариф.
03Можно ли дублировать чужое видео
Технически функция возьмёт любой файл, но права на материал нужны свои. Плюс согласие говорящего на локализацию, собранное до работы.
04Что делать, если губы отстают на крупном плане
Сначала проверить длину фраз: перевод длиннее оригинала даёт спешку и сдвиг. Дальше править текст под тайминг, потом руками добивать стыки реплик и кадры с поворотом головы.
05Заменит ли это живого диктора
Для перевода готового ролика да, для съёмки с нуля нет. Дубляж работает с тем, что уже снято.