Оживить фото нейросетью: ролик до 15 секунд

Одна картинка на входе, пятнадцать секунд на выходе. Facy.ai обещает такой режим подписчикам, но не называет модель, цену и дату. Разбираю механику, ради которой стоит ждать: пошаговый промпт, где каждый шаг отвечает за свой кусок ролика, и три места, где стыки разваливаются.

Один кадр с фигурой у окна разворачивается в длинную ленту из пятнадцати кадров
01

Что анонсировала Facy.ai

16 ноября Facy.ai сообщила, что готовится запустить Image-to-Video Long. Это платная функция для подписчиков: на входе одна картинка, на выходе ролик длиной до 15 секунд, разрешение 720p или 1080p на выбор. В релизе нет трёх вещей, которые обычно решают судьбу инструмента: какая модель считает кадры, сколько стоит прогон и когда кнопка появится в аккаунте. Дальше разговор про механику, которую компания описала сама.

02

Видео из одной картинки: зачем 15 секунд вместо 5

По словам компании, типичный короткий ролик длится около 5 секунд, а длинная сцена лучше передаёт настроение, действие и развитие. Оценка выглядит здраво. Пять секунд вмещают одну мысль: поворот головы, шаг, взгляд. Пятнадцать секунд вмещают три события, и из них складывается мини-история, где зритель успевает что-то почувствовать.

Моя позиция: длина сама по себе ничего не даёт. Пятнадцать секунд уместны там, где в кадре есть развитие, и вредят там, где движения нет. Одуванчик, который качается на ветру, растянется на пятнадцать секунд в скуку. Человек, который поднимает глаза от телефона, узнаёт кого-то и улыбается, на такой длине работает.

Отдельная сложность: вход один, картинка. Всё движение модель придумывает от себя, а чем дольше оно идёт, тем больше шансов, что подведёт фон, одежда или лицо. Длинная сцена из одного стоп-кадра это компромисс, и держать его лучше на простых сценах.

Три шага пошагового промпта: герой, камера на один ход и общая нить через все кадры
03

Как оживить фото нейросетью: два способа промпта

Сервис обещает два режима. Первый это один общий текст на весь ролик: что в кадре, кто герой, что происходит. Второй это несколько пошаговых промптов, каждый описывает свой кусок: начало, середину, финал. Рядом стоит Prompt Expander, который по желанию улучшает любой из вариантов, общий и пошаговый.

Выбор зависит от задачи. Общий текст хорош, когда весь ролик это одно движение: наезд камеры, поворот предмета, падающий снег. Пошаговый нужен, когда события сменяют друг друга, потому что одно предложение на три события модель часто выполняет только первым.

04

Как писать пошаговый промпт: три вещи на каждый шаг

В каждом шаге отвечаю на три вопроса. Что делает герой. Что делает камера. Примерно когда это происходит.

Пример на три шага, героиня у окна. Шаг первый, начало ролика: она стоит у окна, смотрит в сторону улицы, камера медленно приближается. Шаг второй, середина: героиня поворачивает голову к камере и улыбается, камера останавливается. Шаг третий, финал: она отходит от окна, камера остаётся на месте.

Три правила, которые следуют из описания сервиса. Камере даю одно движение на шаг, потому что два движения в одном шаге модель почти всегда смешивает. Время пишу словами, начало, середина, финал, поскольку точных тайм-кодов сервис не обещал и придумывать их в промпте бессмысленно. Шагов делаю не больше трёх, потому что на четвёртом начинаются стыки.

Prompt Expander помогает, когда промпт написан наспех, и мешает, когда в нём уже есть конкретика. Он переписывает текст своими словами и может сгладить деталь, за которую вы держались. После расширения я перечитываю результат и возвращаю то, что пропало.

Три панели ролика и трещины на стыках: фигура съезжает, контур лица двоится
05

Где пошаговый промпт ломается

Первый риск это стык. Между шагами модель не помнит предыдущий кадр так же точно, как внутри шага, поэтому поза героя может прыгнуть, а свет измениться. Чем ближе шаги по композиции, тем стык незаметнее.

Второй риск это лицо и руки к концу длинной сцены. На пятой-десятой секунде мелкая моторика начинает плыть, и на крупном плане это видно сразу.

Третий риск это фон. Движущаяся камера вскрывает то, что за героем было нарисовано на картинке: текстура ползёт, дальний план теряет форму, отражения едут.

Совет из этого простой. Если в исходной картинке сложный фон, длинную сцену лучше не заказывать. Короткая ошибка стоит дешевле длинной, и переделывать пятнадцать секунд дороже, чем пять.

06

Что это меняет в заказе

Для рекламы пятнадцать секунд из фото это удобный формат: вертикальная реклама живёт в ленте кадрами по пять-пятнадцать секунд, и такой ролик закрывает целый слот без съёмки. Подходит для товара, который уже снят: упаковка на столе, кроссовок на полке, интерьер с нужным светом.

В производстве видео нейросетями такая функция встаёт в начало цепочки: оживить картинку, отобрать движение, дальше собрать версии под площадки. Если интересно, что происходит внутри, у нас есть разбор, как картинка превращается в видео.

Ограничение, о котором стоит сказать заказчику заранее. Раз цены и даты запуска нет, считать смету по этому инструменту нельзя. Известны только 720p и 1080p, а младшее разрешение в ленте на телефоне иногда выглядит мягко, особенно на тексте и мелких деталях.

07

Мой вывод

Image-to-Video Long решает понятную задачу: превратить один хороший кадр в пятнадцать секунд движения. Ценность тут в другом. Пошаговый промпт заставляет заранее придумать, что происходит в ролике, и пока человек пишет три шага, он понимает, есть ли в сцене развитие. Часто выясняется, что развития нет, и тогда хватает пяти секунд.

Что я буду проверять на первом же доступе: держится ли лицо к концу сцены, сшиваются ли шаги без прыжка, слушается ли камера. Ответы на эти три вопроса важнее списка разрешений.

частые вопросы

01Можно ли сделать видео из одной картинки длиной 15 секунд
У Facy.ai такая функция заявлена, но на 16 ноября она ещё не включена. Компания говорит про ролик до 15 секунд из одной картинки в 720p или 1080p, без даты запуска.
02Чем пошаговый промпт отличается от общего
Общий описывает весь ролик одним текстом. Пошаговый делит его на куски, и в каждом указано, что делает герой, что делает камера и примерно когда это происходит.
03Нужен ли Prompt Expander
Без него можно обойтись, если промпт уже написан конкретно. Он полезен на черновике и вреден, когда переписывает своими словами деталь, которую вы специально оставили.
04Когда Facy.ai запустит функцию и сколько она будет стоить
Ни даты, ни цены в релизе нет. Функция заявлена как платная для подписчиков, про модель внутри тоже ничего не сказано, поэтому смету пока считать не по чему.