Стартап Twelve Labs разрабатывает платформу на основе искусственного интеллекта, которая позволяет быстро находить нужные фрагменты в видеороликах с помощью текстовых запросов. На днях компания привлекла на свой проект 12 миллионов долларов в ходе посевного раунда финансирования.
Возглавила раунд венчурная фирма Radical Ventures, также в нем приняли участие несколько других фирм и ряд частных инвесторов.
Платформа Twelve Labs представляет собой набор ИИ-инструментов, которые умеют распознавать контекст видеороликов и дают возможность найти нужный отрезок в видео с помощью запроса на естественном языке. ИИ-технологии позволяют облачному сервису извлекать из видео такую информацию, как движения, действия, объекты, люди, звук, речь и субтитры, и определять отношения между ними. Затем платформа преобразует извлеченные элементы в математические объекты, называемые “векторами”, и формирует “временные связи” между кадрами, что позволяет использовать такие функции, как поиск какой-либо сцены в ролике.
Продукт предназначен для интеграции в различные приложения с видеоконтентом и направлен в первую очередь на использование в рабочих целях: например, переводчиками, маркетологами, редакторами и другими людьми, чья работа тем или иным образом включает обращение к видеоматериалам. Так, с помощью платформы можно быстро найти часть рекламного ролика, где появляется логотип компании или продукта. Платформа также позволяет находить в видео фрагменты по описанию звуковых эффектов, например, по запросу «скрежет мела по доске».
В настоящее время инструмент находится в стадии закрытого бета-тестирования. Разработчики получают доступ к инструментам платформы через набор API-интерфейсов. Помимо семантического поиска, сервис может выполнять и другие задачи — разделять длинные видео на логические фрагменты, генерировать краткое описание ролика и составлять Q&A по информации из видео.
Компании могут дополнительно настроить платформу в соответствии со своими требованиями. В частности, разработчики могут заняться дальнейшим обучением лежащей в основе сервиса ИИ-модели на пользовательских наборах данных — это повышает точность обработки данных под специфику контента каждого отдельного корпоративного клиента.
Согласно информации от стартапа, API-интерфейсы позволяют разработчикам интегрировать платформу в свои приложения с помощью менее чем 20 строк кода. У Twelve Labs уже есть первый набор клиентов, которые используют сервис для работы с видеоконтентом в сфере онлайн-образования и рекламы.
Полученное новое финансирование стартап собирается вложить в расширение возможностей своей платформы. Так, инженеры Twelve Labs планируют продолжать совершенствовать точность алгоритмов поиска в продукте и внедрять в него больше функций, а также заниматься дальнейшими исследованиями возможностей ИИ в данной сфере.
