Как нейросеть делает видео из картинки
Модель получает картинку и описание движения. Первый кадр она берёт из фото, дальше достраивает остальные. Часть моделей принимает ещё последний кадр, чтобы попасть в нужную точку.
По документации API Kling 3.0 первый кадр обязателен, последний опционален. Длительность задаётся от 3 до 15 секунд, разрешение до 4K. Входное изображение должно быть не меньше 300 пикселей по стороне и попадать в пропорции от 1:2.5 до 2.5:1. Эти цифры полезно держать в голове, потому что половина жалоб «нейросеть испортила фото» начинается с картинки 120 на 90 пикселей.
Дальше всё просто: чем больше в кадре понятных объектов и чем меньше мелких деталей, тем предсказуемее результат.
Что получается хорошо
Пейзаж. Деревья, вода, облака: модели хорошо понимают движение листвы и ряби. Ошибку заметить некому, потому что зритель не знает, как было.
Интерьер. Камера медленно едет по комнате, шторы колышутся, свет меняется. Для карточки товара и презентации квартиры этого достаточно.
Предмет на столе. Кофе, телефон, упаковка. Здесь работает наезд и лёгкий поворот, а сам предмет остаётся статичным.
Портрет: лицо крупно, ровный свет. Кожа, волосы, моргание. Если лицо занимает треть кадра и нет перекрытий, оживление выглядит убедительно.
Ещё хорошо идут архивные фото с высоким разрешением. Плёнка зернит, и мелкие артефакты генерации в этом зерне прячутся.
Что выглядит жутко
Первое: глаза. Модель часто делает взгляд неподвижным, и человек на видео смотрит как манекен. Лечится описанием движения: медленно переводит взгляд, моргает.
Второе: зубы и рот. При улыбке появляются лишние зубы или рот «плывёт». Чем шире улыбка на исходнике, тем выше риск.
Третье: руки. Пальцы меняют количество, ногти исчезают, кольцо переезжает. Руки в кадре это самая частая причина брака.
Четвёртое: фон за головой. Волосы на границе с фоном начинают шевелиться отдельно от головы, и появляется эффект парика.
Пятое: очки. Отражения и оправа ломаются, линзы мутнеют.
Общее правило: чем ближе кадр и чем сложнее объект, тем вероятнее жуть. Дальний план прощает почти всё.
Движение камеры
Описание движения решает больше, чем модель. Три безопасных приёма.
Медленный наезд. Камера приближается на десять процентов за весь ролик. Работает почти на любом фото.
Параллакс. Камера смещается вбок, передний план идёт быстрее заднего. Даёт ощущение объёма на плоском снимке.
Дыхание. Едва заметное покачивание, будто камера в руках. Скрывает артефакты и добавляет жизни.
Опасные приёмы: облёт на 180 градусов, полёт дрона над лицом, резкий поворот. Модель достраивает то, чего на фото не было, и придумывает за спиной целый мир.
Отдельная техника, где исходником служит уже готовый ролик, называется ИИ видео из видео. Она полезна для смены стиля и фона, но к оживлению фото отношения не имеет, и путать эти два инструмента не стоит.
Оживление старых фото
Семейный архив это отдельный жанр. Работает, если скан хороший: от 600 точек на дюйм, без бликов и заломов.
Порядок действий простой. Сначала реставрация: убрать царапины, восстановить контраст. Потом лёгкое движение: взгляд, улыбка, дыхание. Потом звук.
Не пытайтесь оживлять фото, где человек смотрит в сторону или прикрыт рукой. Модель начнёт достраивать лицо и получит чужого человека. Для семейного архива это неприятно вдвойне.
Заказать видео с оживлением фото имеет смысл, когда снимков много и они разные по качеству. Ручная работа тут в реставрации и отборе, а генерация это последний шаг.
Согласие людей и права
По статье 152.1 ГК РФ обнародование и использование изображения человека допускаются только с его согласия. После смерти человека согласие дают дети и переживший супруг, при их отсутствии родители. Среди исключений: публичные интересы, съёмка в открытом для посещения месте или на публичном мероприятии, если человек не основной объект, и позирование за плату.
Для оживления фото это значит: чтобы опубликовать архивный снимок умершего человека, формально нужно согласие его детей и пережившего супруга. Семейный ролик, который остаётся внутри семьи, обычно вопросов не вызывает. Публикация в рекламе или на сайте компании требует документов.
Отдельно про известных людей. Оживить фото публичного человека для рекламы без его согласия нельзя, даже если снимок взят из открытых источников.
Ещё один слой: согласие на изображение не отменяет прав на саму фотографию. Стоковое фото, снятое фотографом, живёт по своей лицензии.
Где это нужно бизнесу
Карточка товара. Фото упаковки с лёгким движением камеры смотрится живее статичной галереи. Здесь важна точность: цвет и форма товара не должны меняться. Уникализация роликов под разные рынки начинается с того же материала.
Недвижимость. Одно фото комнаты превращается в короткий обзор, если добавить наезд и движение штор. Дешевле, чем везти съёмочную группу.
Обучение и инструкции. Схема или деталь на фото показывает движение узла понятнее, чем текст.
Афиши и анонсы. Оживлённый постер в ленте заметнее статичного.
А вот там, где зритель ждёт документальности, оживление вредит. Отчёт о стройке с шевелящимися кранами выглядит как постановка.
Чек-лист перед генерацией
Проверьте фото по шести пунктам. Разрешение не меньше 300 пикселей по стороне, лучше от 1000. Лицо не перекрыто. Рот закрыт или улыбка умеренная. Рук в кадре минимум. Фон не пёстрый. Пропорции кадра совпадают с площадкой.
Потом выберите одно движение. Сгенерируйте три варианта одной и той же сцены, потому что модель нестабильна даже на одинаковом запросе. Выберите лучший и не пытайтесь склеить из трёх.
Если нужно собрать видео из фото с музыкой, это другая задача и другая логика: там важны переходы и ритм, сам кадр остаётся статичным. Про это у нас есть отдельный разбор.
