Стартап Stability AI выпустил Stable Audio Open Small – ИИ-модель для генерации звуковых эффектов и коротких музыкальных сэмплов. По словам компании, инструмент отличается высокой скоростью работы и может функционировать на смартфонах за счет компактного объёма, в том числе в режиме оффлайн.
Модель разработана совместно с производителем микросхем Arm и оптимизирована под процессоры этой компании (на таких процессорах работают почти все современные смартфоны).
Размер модели составляет 341 миллион параметров. Инструмент умеет быстро создавать короткие аудиосэмплы и звуковые эффекты – в частности, барабанные петли, инструментальные риффы, шумовые эффекты и эмбиентные текстуры. Audio Open Small может сгененировать до 11 секунд звука на смартфоне менее чем за 8 секунд.
Модель только начинает развиваться и имеет ряд ограничений: например, она распознает промпты только на английском языке, а также не умеет генерировать реалистичный вокал или мелодии в высоком качестве. Из-за того, что инструмент обучался в основном на музыке в европейском стиле, он может менее качественно справляться с генерацией музыки в других жанрах.
По информации стартапа, Audio Open Small обучалась на наборе песен из бесплатных аудиобиблиотек, что исключает риск нарушения авторских прав при генерации новой музыки. Инструмент бесплатен для любительского использования, а также для исследователей в области музыки и небольших организаций.
Источник: TechCrunch
