Обработка видео нейросетью: семь задач и рабочий порядок

Просьба звучит как одно действие: обработайте видео нейросетью. Внутри семь разных работ, и они не равны по риску. Мой тезис простой: порядок операций экономит больше, чем выбор сервиса, потому что апскейл, сделанный до чистки кадра, увеличивает артефакты вместе с деталями. Ниже семь задач с нашими разборами, свежие цены ноября и тот порядок, который у нас работает в потоке роликов.

Кадр с лишним предметом очищают, а справа тот же кадр увеличен и детализирован
01

Семь задач, которые закрывает нейросеть для обработки видео

Запрос «ии видео обработка» приходит одной строкой, а внутри у него семь разных работ: поднять качество, убрать лишнее из кадра, сменить фон, сменить человека, починить звук, сделать субтитры и перевод, нарезать длинный ролик на вертикальные фрагменты. Каждая задача решается своим классом моделей, и путать их дорого. Инструмент для апскейла не уберёт микрофон. Редактор с заменой фона не спасёт звук с эхом.

Общая рамка того, как устроено редактирование видео нейросетью, у нас разобрана отдельно. Здесь я держу уровень хаба: задача, что она решает, где ломается и куда идти за подробностями. Семь абзацев ниже это семь дверей.

02

Улучшить качество: где ИИ для обработки видео даёт больше всего

Апскейл обещает вернуть детали из сжатого файла и часто возвращает их вместе с выдумкой. Модель дорисовывает текстуру кожи, листву, мелкий шрифт на вывеске, и на 100% зуме видно, где заканчивается восстановление и начинается фантазия. Практика простая: не тянуть 480p сразу в 4K, идти шагом в два раза, а текст и логотипы проверять отдельно, потому что буквы расплываются первыми.

Второй слой это шум и мыло от платформенного сжатия. Их снимают до апскейла, иначе модель принимает артефакты сжатия за детали и закрепляет их. Подробный порядок есть в разборе, как выглядит улучшение качества видео нейросетью, а линейку Topaz Video AI мы разбирали отдельно, там же про режимы и настройки.

Схема порядка обработки видео: чистка, замены, апскейл, звук, субтитры и проверка кадра
03

Убрать объект или текст из кадра

Вторая задача это чистка кадра: микрофон перед героем, чужой логотип на футболке, машина, которая проехала за спиной, надпись на стене. Механика одна: маска, трекинг, inpainting, проверка краёв. Ломается она предсказуемо, на волосах, стекле, дыме и на смене света, где заплатка начинает мерцать.

Отдельная история это текст. Буквы на ткани и на изогнутой поверхности живут вместе с движением, и модель либо стирает половину надписи, либо тянет её за собой. Отсюда правило: сначала убирать объект, потом текст, и каждый шаг смотреть на движении. Разборы по обеим задачам у нас есть, как убрать объект с видео нейросетью и как убрать текст с видео нейросетью.

04

Замена фона и замена человека

Третья задача это фон. Сегментация вырезает человека без зелёного экрана, но тень на полу и волосы на контровом свете выдают монтаж. Признак хорошей работы простой: тень падает туда же, куда падала в исходнике.

Четвёртая задача это человек в кадре. Здесь решает не только маска, но и права: чужое лицо требует согласия человека, и этот вопрос закрывают до рендера. Техническую сторону мы разбирали в материале про замену лица на видео нейросетью, а замену одного человека на другого в готовом клипе держит отдельный инструмент Lockstep, у него свой разбор.

05

Звук, субтитры и перевод

Пятая задача это звук. Модели чистят шум улицы и гул помещения, выравнивают громкость между дублями, вытягивают речь, записанную на встроенный микрофон. Предел простой: если речь перекрыта музыкой или клиппингом, восстановление добавит гладкости, а слов не вернёт. Порядок описан в разборе, как улучшить звук на видео нейросетью.

Шестая задача это текст на экране. Автоматические субтитры дают тайминг за минуты, но переносы строк и вертикальный кадр приходится править руками, иначе две строки налезают друг на друга. Перевод и дубляж идут следом: голос, укладка в тайминг, потери на шутках и именах. Здесь у нас два разбора, субтитры для видео нейросетью и перевод и дубляж видео нейросетью.

06

Нарезка на шортсы

Седьмая задача это дистрибуция. Длинный ролик разбирают на вертикальные фрагменты, и модель ищет границы по речи и лицам в кадре, смысл она не читает. OpusClip 4.0 в этом классе режет по сценам и ставит субтитры сам, его разбор у нас есть. Что проверять после автопрогона: первые две секунды фрагмента, кроп по лицу и обрезанные слова на склейках. Нарезка видео на шортсы почти всегда требует ручной правки хуков.

07

ИИ видео изменить: правка готового клипа диалогом

Самое заметное за неделю это правка готового клипа вместо новой генерации. Gemini Omni 1.2 Flash вышел 5 ноября: он меняет продукт или фон в уже собранном клипе, свет, погоду, соотношение сторон, и делает это по описанию, без полной перегенерации. Работает кусками до 15 секунд, стоит около 5,9 ₽ за секунду в 720p.

Pruna выкатила P-Video-2-Pro-Replace на базе MiniMax H3, анонс тоже 5 ноября. Она меняет одного или двух людей по фотографии и держит камеру, фон, движение и исходный звук, видео от 1 до 120 секунд. Цена по разрешениям: около 4,2 ₽ за секунду в 480p, около 8,4 ₽ в 768p, около 10 ₽ в 1080p, цифры с сайта Pruna.

Что это меняет на практике. Раньше правка одного предмета в кадре означала новый рендер и новую сцену, теперь пересобирается только фрагмент, и это видно на времени. Ограничения тоже на месте: 15 секунд у Gemini и сохранение исходного звука у Pruna закрывают рекламные вставки и короткие сцены, а длинную сцену всё равно придётся собирать из кусков.

08

Мой вывод: порядок важнее сервиса

Порядок у меня один для любого ролика.

Логика простая: апскейл до чистки множит артефакты. Маска, положенная на уже выдуманные пиксели, расползается по краям, и заплатку приходится переделывать на разрешении, где каждая ошибка видна. Порядок операций экономит больше, чем выбор сервиса, и это единственный вывод, который у меня держится третий месяц подряд.

В потоке роликов мы работаем именно так: видео нейросетями идёт конвейером, а сложные правки уходят в ручные ролики от 16 000 ₽, где за кадр отвечает человек. Если ролик живёт на канале месяцами, ведение YouTube-канала включает эту обработку в план выпусков. Для серии вертикальных вставок логика та же: сначала чистая база, потом замены, потом разрешение.

  • Исходник в максимальном качестве, без промежуточных пережатий.
  • Чистка: объекты, текст, лишние люди.
  • Замена: фон, человек, детали сцены.
  • Апскейл и восстановление деталей.
  • Звук и субтитры последними, они не трогают картинку.
  • Проверка на 100% зуме и на телефоне, потому что сжатие в соцсетях съедает мягкие переходы.

частые вопросы

01Чем обработка видео нейросетью отличается от монтажа
Монтаж собирает историю из готовых кусков, обработка меняет сам материал: разрешение, содержимое кадра, звук, текст. На практике это два разных прохода, и обработка идёт до финальной сборки, иначе правки ломают уже выставленный тайминг.
02В каком порядке делать правки, если задач несколько
Сначала чистка кадра, потом замены, потом апскейл, звук и субтитры в конце. Апскейл в начале увеличит и артефакты исходника, и ошибки маски, а переделывать их на высоком разрешении дороже по времени.
03Можно ли изменить готовый клип без перегенерации
Да, у Gemini Omni 1.2 Flash правка идёт описанием по уже собранному фрагменту, до 15 секунд за проход. Замена человека работает отдельным инструментом, Pruna держит при этом камеру, фон, движение и исходный звук.
04Что делать, если исходник снят на телефон
Сначала снять шум и сжать артефакты, потом апскейл шагом в два раза. Текст и мелкие детали на телефонном файле проверяют на 100% зуме отдельно, потому что именно они расплываются первыми.