Что на самом деле просят, когда ищут перевод видео нейросетью
Запрос «перевод видео на русский нейросеть» звучит как задача про язык. На деле язык здесь самая простая часть. Куда сложнее сохранить голос, темп и попадание в губы, а ещё не потерять смысл там, где речь идёт о деньгах и сроках.
По нашему семантическому ядру у фразы «перевод видео на русский нейросеть» около 351 запроса в месяц, у широкой «перевод видео ии» около 232. Люди ищут инструмент, а нужен им результат: ролик, который смотрят до конца на другом языке.
Разберу по частям, потому что под одним словом «перевод» склеены три разных продукта с разной ценой и разным качеством: субтитры, дубляж и липсинк.
Первый уровень это субтитры. Машина распознаёт речь, переводит текст и ставит строки по таймкодам. Самый дешёвый и самый предсказуемый вариант. Ошибки видны глазами, правятся вручную, а зритель всё равно слышит оригинальный голос.
Второй уровень это дубляж. Голос оригинала заменяется синтезированной речью на другом языке, иногда с сохранением тембра спикера. Здесь появляется новая проблема: длина фразы. Русская фраза обычно длиннее английской, и синтез либо ускоряется, либо вылезает за границы кадра.
Третий уровень это липсинк, подгонка артикуляции под новую дорожку. Самая дорогая часть и самая заметная при ошибке: лицо начинает жить отдельно от звука, и зритель это чувствует раньше, чем понимает причину.
Практический вывод простой. Выбирайте уровень под задачу; самый продвинутый из доступных часто оказывается лишним.
Что YouTube уже отдаёт бесплатно
Автоматический дубляж на YouTube давно не бета для избранных. По данным блога YouTube (https://blog.youtube/news-and-events/youtube-auto-dubbing-expressive-speech/), функция доступна всем каналам, а библиотека языков выросла до 27. Выразительная речь, которая повторяет интонацию автора, работает в восьми языках: английском, французском, немецком, хинди, индонезийском, итальянском, португальском и испанском.
У бесплатного варианта есть чёткие ограничения, и их стоит знать до планирования: они перечислены в справке YouTube (https://support.google.com/youtube/answer/15569972).
Для канала с обучающими видео этого хватает. Для продающего ролика почти никогда.
- ролик длиннее 120 минут автоматический дубляж не получит;
- материал без речи, только музыка или почти без слов, не проходит;
- ролик с заявкой на чужой контент исключается;
- готовый автоматический дубляж нельзя отредактировать, можно только удалить и загрузить свою дорожку;
- своя дорожка требует доступа к расширенным функциям канала.
Чем платный дубляж отличается от бесплатного
Платные сервисы продают контроль. Вы выбираете голос, правите произношение названий и терминов, задаёте паузы, переводите по смыслу сцены. Плюс получаете нормальный липсинк и выгрузку в исходном разрешении.
У ElevenLabs, например, дубляж тарифицируется по минутам исходного материала на каждый целевой язык, о чём прямо сказано в справке сервиса (https://elevenlabs.io/docs/help-center/product/dubbing/how-much-does-dubbing-cost). Двадцатиминутный ролик на пять языков считается как сто минут. При создании проекта первый язык оплачивается сразу, остальные добавляются по очереди.
Отсюда первое правило сметы: берите длину ролика и умножайте на число языков.
Почему дубляж стоит считать по минутам исходника
Типичная ошибка при планировании выглядит так. Команда считает бюджет по числу роликов и забывает про языки. Потом выясняется, что десять роликов на шесть языков это шестьдесят дорожек, каждая с вычиткой и приёмкой.
Второй слой затрат это приёмка. Кто-то должен послушать каждый язык и сверить термины. Если такого человека нет, дубляж уходит в публикацию с ошибками, и первым это замечает отдел продаж в другой стране.
Третий слой это переозвучка после правок. Изменился оффер, поменялась цена, и дорожку надо пересобирать. Поэтому в договоре полезно сразу фиксировать, сколько кругов правок входит в работу.
Для регулярного выпуска это превращается в поток: изготовление видео с помощью нейросетей даёт исходник, а дубляж добавляет языковые версии к уже готовому материалу. Если ролики выходят каждую неделю, дешевле один раз собрать регламент, чем каждый раз изобретать его заново. Такой поток похож на автоматизированный YouTube-канал: выпуски идут по расписанию, и дубляж становится ещё одной станцией на этом пути.
Где автоматический дубляж ломается
Первое. Имена и бренды. Синтез уверенно произносит название компании так, как прочитал транскрипт, и получается комично. Список сложных слов надо отдавать вместе с проектом.
Второе. Юмор и сарказм. Дословный перевод убивает шутку, а вольный меняет смысл. Тут нужен человек, который знает язык и контекст.
Третье. Числа и единицы. «Миллион» и «биллион» в разных языках означают разное, валюту тоже надо проговаривать явно.
Четвёртое. Темп. Если спикер тараторит, синтез либо ускоряется до невнятицы, либо теряет часть фразы.
Пятое. Юридическая сторона. Голос человека это его личные данные, и на клонирование нужно письменное согласие. В корпоративном ролике с сотрудниками это отдельная бумага, которую часто забывают.
Как проверить дубляж за один вечер
Возьмите один свой ролик, самый неудобный: термины, имена, быстрая речь. И прогоните пять проверок.
Если на доводку уходит больше, чем на запись с нуля, сервис вам не подходит. Это нормальный результат проверки. Волшебную кнопку искать дальше не нужно.
Для корпоративного контента проверку стоит делать на ролик о компании: там обычно есть и термины, и имена, и цифры, то есть весь набор сложных мест сразу.
- Термины. Сколько ошибок в названиях и цифрах на минуту записи.
- Длина. Влезает ли русская фраза в тот же таймкод, что английская.
- Голос. Узнаётся ли спикер, не звучит ли синтез как автоответчик.
- Губы. Заметно ли расхождение на крупном плане.
- Правка. Сколько времени уходит на доводку одной минуты вручную.
Что делать с озвучкой и субтитрами
Дубляж переводит смысл на другой язык, а озвучка видео нейросетью даёт голос тексту на том же языке. Если нужен второй вариант, там про дикцию, ударения и выбор голоса.
Субтитры при этом остаются обязательными даже при готовом дубляже. Часть зрителей смотрит без звука, а поисковые системы читают текст дорожки. Фраза «субтитры для видео нейросеть» в ядре набирает около 84 запросов в месяц, и это отдельная работа с отдельными ошибками.
