Стартап Tavus разрабатывает ИИ-инструмент, с помощью которого можно создавать множество персонализированных видеороликов на основе одного исходного видео. Продукт предназначен в первую очередь для использования в корпоративных целях.
Стартап был основан в 2020 году в Сан-Франциско соучредителями Хассаном Разой (генеральный директор) и Куинном Фавретом; он является выпускником акселератора Y Combinator. На днях компания объявила о привлечении 6,1 миллиона долларов в ходе посевного раунда финансирования, в котором принял участие целый ряд технологических фондов и частных инвесторов.
Основная идея Tavus состоит в том, чтобы дать профессионалам в области маркетинга и других сфер возможность создавать бесконечное число персонализированных видеороликов для потенциальных клиентов, подставляя нужную информацию в одно исходное видео. Например, такая услуга может пригодиться для рассылки видеоприглашений кандидатам на должность, видео-рекламы различных продуктов или персонализированных видео-анонсов корпоративных мероприятий.
Чтобы начать пользоваться инструментом, пользователю нужно записать на платформе 15-минутное видео, зачитывая сценарий, предоставленный самим сервисом. Это необходимо для того, чтобы ИИ смог обучиться голосу, манерам речи и мимике пользователя. Затем нужно записать общий видео-шаблон для конкретной задачи, на основе которого можно будет генерировать множество персонализированных аналогов: например, приглашение прийти на собеседование или обращение к клиенту.
Шаблон персонализируется с помощью встроенного веб-редактора: пользователь может выбрать, какие именно элементы в ролике нужно персонализировать и как именно — например, подставить разные названия компаний, имен или городов, добавить разные призывы к действию и так далее.
При этом можно задавать не только короткие переменные вроде названий, но и более длинные — это возможно благодаря интеграции в инструмент функций ChatGPT. Например, базовый сценарий, по которому генерируются видео, можно настроить таким образом, чтобы он включал вводное предложение, сгенерированное по информации из профиля нужного человека в сервисе по поиску работы.
Как объяснили порталу TechCrunch разработчики Tavus, компания использует машинное обучение для обучения своей ИИ-модели мимике, движению губ и жестам. Созданная ими система умеет реалистично имитировать эти движения и синхронизировать их с синтезированным звуком.
Как и в случае с любым другим генеративным ИИ, компании приходится учитывать вероятность потенциального использования её технологии в злоумышленных и негативных целях. По словам Фаврета, необходимость записи упомянутого 15-минутного видео в режиме реального времени является основной защитой от возможности злоумышленного использования системы — каждое записанное видео используется для проверки голоса и внешности пользователя, что отсекает возможность загрузки конкретным пользователем роликов, принадлежащих сторонним людям.
Сейчас продукт выпущен в виде бета-версии, доступ к которой открывается по листу ожидания. Инструментом можно пользоваться двумя основными способами: через веб-платформу или путем интеграции в свою систему через API.
Полученные новые инвестиции компания планирует вложить в дальнейшую разработку продукта.
