Genie 4: ИИ видео гугл научилось звучать, и это меняет цену звука

Я годами смотрю, как генеративное видео учится картинке, и почти не вижу прогресса в звуке. Genie 4 от Google DeepMind впервые делает звук частью симуляции: звук становится свойством мира. Это меняет то, за что платят в производстве.

Стеклянный купол мира, от объектов внутри расходятся звуковые кольца: звук как свойство мира
01

Что показали

27 октября Google DeepMind объявила Genie 4, новую мировую модель. Компания описывает её как интерактивную симуляцию, которая держит реализм и отвечает в реальном времени.

Ключевое отличие от прошлых версий в звуке. По заявлению DeepMind, это первая их модель реального времени, которая генерирует аудио нативно: ветер в деревьях, волны, шаги и речь персонажей появляются вместе с картинкой.

Доступ пока ограничен. Модель вышла как исследовательский превью для доверенных тестировщиков, дальше её обещают подписчикам Google AI Ultra в Project Genie и партнёрам раннего доступа в Gemini API и Google AI Studio.

02

Почему звук важнее картинки

В обычном производстве звук живёт отдельной жизнью. Сначала снимают или генерируют изображение, потом пишут голос, потом ищут шумы и музыку.

Каждый этап стоит денег и времени, и каждый ломает предыдущий. Переозвучили фразу, и губы в кадре поехали. Поменяли сцену, и шумовой фон перестал совпадать.

Мир, который звучит сам, снимает часть этой работы. Если симуляция выдаёт звук вместе с движением, синхронизация появляется на этапе генерации.

Схема: мир, звуковые волны, два выхода и обратная петля связи
03

Как это устроено

Genie 4 опирается на модели Gemini. По описанию DeepMind, Gemini Omni отвечает за то, чтобы симуляция выглядела и вела себя как настоящий мир, а другие модели Gemini держат связность сцены и логику событий.

Пользователь задаёт событие, а модель доигрывает последствия: как отвечает среда, как это звучит, как двигаются и говорят люди.

Управление идёт с клавиатуры и камеры плюс текстовыми подсказками. Можно менять погоду, двигать камеру, вводить нового человека или предмет, и модель подстраивает подсказку под окружающую сцену.

04

Живая речь в кадре

Самое интересное в анонсе это диалог. Персонажи разговаривают и реагируют на ваши действия или события в мире, и всё это в реальном времени.

Такой звук ещё не дубляж и не озвучка по сценарию. Это реакция на событие, которую нельзя переписать построчно, зато можно поставить в кадр и посмотреть, как сцена держится.

Для рекламных тестов это удобно. Черновая сцена с репликой проверяется за минуты, и видно, где ритм провисает.

Есть и неудобная сторона. Реплика, которую генерирует персонаж, не следует сценарию слово в слово, и для юридически точного текста такой звук пока не годится. Его место в черновике и в атмосфере.

05

Что с этим делать бизнесу

Первое применение простое: раскадровка со звуком. Режиссёрская версия, в которой слышно, как сцена звучит, до того как оплачена съёмка.

Второе: фоны и второстепенные планы. Видео нейросетями уже закрывает такие кадры дешевле съёмки, а со звуком закрывает ещё и атмосферу сцены.

Третье: обучение и демонстрации. Интерактивный мир, в котором можно ходить и слушать, объясняет сложное быстрее линейного ролика.

Ручные ролики при этом остаются для того, что нельзя сгенерировать: человек в кадре, продукт в руках, интонация, за которую отвечает актёр.

Если проект серийный, ведение YouTube-канала строится вокруг плана выпусков, и интерактивные миры здесь полезны как источник фонов и заставок.

06

Ограничения, о которых сказали сами

DeepMind перечислила слабые места честно. Детали и постоянство объектов могут смещаться при долгой сессии, после нескольких сложных правок подсказки и при движении по сцене.

Отдельно названы сложные физические взаимодействия, точность звука в реальном времени, читаемый текст в кадре, пространственная точность и связность на длинной дистанции.

Читаемый текст это важная деталь для рекламы. Пока модель не гарантирует надписи, логотип и цена в кадре остаются работой монтажа.

07

Метки и безопасность

Всё видео и аудио из Genie 4 получает SynthID, невидимую цифровую метку Google. Она нужна, чтобы отличать сгенерированное от снятого.

Компания также говорит о строгих ограничителях и внутренних проверках безопасности перед превью. Публичного доступа пока нет, и это стоит учитывать в планах.

Для рынка это значит ещё одну вещь. Сгенерированный мир сложнее продать как съёмку, потому что метка остаётся в файле.

Для агентств метка означает простую вещь: клиенту можно показать, что ролик помечен, и это снимает часть вопросов о происхождении материала.

08

Вывод

Genie 4 показывает сдвиг, который я ждал: звук перестаёт быть отдельной статьёй и становится частью генерации. Для заказчика это экономия на синхронизации и на черновых версиях.

Практический вывод простой. Пробуйте модель там, где звук важен для понимания сцены: реклама, объяснение, демонстрация. И держите рядом ручную сборку для текста, логотипа и актёрской подачи.

Когда доступ откроется, проверять стоит на одной сцене. Возьмите фрагмент, где есть движение и реплика, и посмотрите, держится ли звук при смене ракурса. Если да, модель готова к вашему пайплайну.

Следить за доступом стоит через Project Genie и Gemini API. Пока это превью, но направление понятное.

частые вопросы

01Что такое Genie 4
Мировая модель Google DeepMind, которая генерирует интерактивную симуляцию в реальном времени и впервые делает это со звуком.
02Доступна ли Genie 4 обычным пользователям
Нет. Модель вышла как исследовательский превью для доверенных тестировщиков, дальше обещают доступ подписчикам Google AI Ultra и партнёрам Gemini API.
03Чем звук Genie 4 отличается от обычной озвучки
Аудио генерируется вместе с миром: эмбиент и речь персонажей появляются в кадре в реальном времени, синхронизация не делается на монтаже.
04Какие ограничения у модели
Смещение деталей при долгой сессии, сложная физика, точность звука, читаемый текст в кадре и связность на длинной дистанции.