Поиск по видео в Cohere Compass: отрезок вместо часа записи

Cohere показала поиск по видео внутри Compass: ответ приходит отрезком с таймкодом, расшифровкой и описанием кадра. Доступ закрытый, цен нет. Разбираю, как это работает и почему мне интереснее границы отрезка, чем баллы в анонсе.

Лупа над плёнкой выделяет непрерывный отрезок из трёх кадров, а не всю запись
01

Cohere показала Video Intelligence в Compass

16 ноября Cohere представила Video Intelligence в Compass. Продукт в закрытом превью: компания набирает партнёров и тестирует поиск на их записях. Публичного доступа нет, цен тоже нет, поэтому обсуждать имеет смысл устройство. Оба разбора, у Unite AI и у TheHype, вышли 16 ноября.

02

Что такое поиск по видео в Compass

Compass у Cohere отвечает на вопросы по внутренним материалам компании: документы, отчёты, презентации лежат в индексе, сотрудник спрашивает словами и получает ответ со ссылкой на источник. Video Intelligence добавляет в тот же индекс видеозаписи.

Индексируются две дорожки сразу. Речь, то есть что говорят люди. Картинка, то есть что видно на экране: слайды, графики, демонстрации интерфейса. Запрос «где показывали график оттока» находит кадр, даже если вслух об этом не сказали ни слова. Реплика без единого слайда тоже находится.

Ответ устроен как улика. Приходит отрезок, а к нему ссылка на исходный файл, таймкод, расшифровка и описание того, что в кадре. Проверить вывод можно за один клик. Это важнее, чем кажется: без таймкода любой ответ приходится принимать на веру.

Схема: нарезка по равным кускам рвёт мысль, а отрезок под запрос берёт её целиком
03

Как нейросеть для анализа видео выбирает отрезок

Главная деталь в анонсе. Границы отрезка вычисляются под конкретный запрос в момент поиска. Библиотеку заранее не нарезают на десятисекундные куски, и это меняет качество.

Простой пример. Нарезка по минутам рвёт разговор посреди мысли: настройка начинается в конце одной минуты и заканчивается в начале следующей. Поиск, который режет по смыслу, отдаёт кусок целиком, от первого слова до последнего. Для вебинара на два часа такая разница решает, смотреть десять минут или сорок.

Честная оговорка: как именно модель находит границы, Cohere не раскрывает. В анонсе есть результат, механика осталась за кадром.

04

Текст из видео и картинка в одном индексе

Видео лежит там же, где документы, и это сильная сторона. Не нужно держать две системы и объяснять сотруднику, где искать. В поиске одна строка и один набор результатов, где рядом оказываются слайд из презентации и минута записи, на которой этот слайд обсуждали.

Дальше корпоративные вещи, без которых такой продукт в компанию не заходит. Права доступа учитываются при поиске: человек видит только те записи, которые ему разрешены. Поля настраиваются, модели выбираются, развёртывание возможно в облаке или в своей инфраструктуре. Для тех, кто держит чувствительные созвоны, второй вариант часто обязателен.

Плюс MCP-сервер Compass. Поиск можно отдать агенту как инструмент: он сам дёргает индекс и приносит отрезок в ответ на вопрос пользователя.

Документы и видео сходятся в один индекс, на выходе отрезок записи с расшифровкой
05

Кому это закрывает боль

Архивы интервью и съёмок. Здесь поиск экономит дни. Найти в двадцати часах исходников момент, где герой говорит нужную фразу, обычно означает пересмотр.

Обучение. Записи вебинаров и внутренних курсов после первого месяца никто не открывает, потому что искать в них нечем. Поиск по речи и по экрану возвращает эти записи в оборот.

Созвоны. Запись встречи полезна ровно до следующей встречи. С поиском по таймкоду к ней возвращаются, когда нужно вспомнить, кто и что обещал.

Медиатеки и продакшн. Архив растёт быстрее, чем его успевают пересматривать, и это главный аргумент за подобные инструменты.

06

Цифры качества: 0,69 и 4,4 пункта

Cohere приводит свою оценку ранжирования видео. Средний балл 0,69 на 11 датасетах, в среднем на 4,4 пункта выше сильнейшей альтернативы. Это цифра компании о своём продукте, независимого прогона пока нет. Читать её стоит как обещание, проверка начинается на своих записях.

Датасет и живой офис устроены по-разному. Созвон с плохим микрофоном, эхом и демонстрацией экрана даёт материал, которого в аккуратной выборке не бывает. Для решения о покупке нужен тест на своём: сотня записей, десяток реальных вопросов и ручная проверка первых пятидесяти ответов.

07

Что это меняет в работе с видео

Поиск по архиву и производство связаны плотнее, чем кажется. Когда за неделю выходит серия роликов, собранных видео нейросетями, найти нужный фрагмент в готовых исходниках важнее, чем написать новый запрос. Ведение YouTube-канала тоже упирается в архив: старые выпуски уходят в нарезку и в новые сценарии, а без поиска по записям это ручная работа.

Ещё два разбора рядом. Текст о том, как нейросеть анализирует видео, объясняет, что модель видит в кадре и где ошибается. Сегодняшняя статья про HeyGen Decision 1 показывает обратную сторону: модель оценивает готовый ролик по вашим вопросам.

08

Мой вывод

Инструмент нужен тем, у кого архив растёт быстрее, чем его успевают пересматривать. Всё остальное вторично. Красивый интерфейс не спасает, если на вопрос «где мы обсуждали бюджет» система выдаёт сорок минут записи без таймкода.

Cohere сделала ставку на доказательство: отрезок, ссылка, расшифровка, описание картинки. Мне такой подход нравится, потому что он оставляет человеку возможность проверить. Баллы в анонсе подождут, тест на своём архиве покажет правду быстрее.

Пока продукт в превью, практический вывод один. Если у вас есть медиатека, к которой обращаются редко, потому что искать дорого, прогон на своих записях в превью даст больше, чем любой обзор.

частые вопросы

01Ищет ли Compass только по речи
Нет. Индексируется и речь, и картинка на экране. Слайд, график или демонстрация интерфейса находятся по запросу, даже если вслух их не комментировали.
02Что приходит в ответ на запрос
Отрезок записи с границами под ваш вопрос, ссылка на исходный файл, таймкод, расшифровка речи и описание того, что видно в кадре.
03Можно ли поставить поиск у себя
Да, вариант развёртывания выбирается: облако Cohere или своя инфраструктура. Поля и модели тоже настраиваются, права доступа учитываются при выдаче.
04Сколько это стоит
Цены не названы. Продукт в закрытом превью, партнёров набирают на тесты, поэтому смета появится позже. Считать придётся от своего объёма записей.