OpenAI выпустила ИИ-модель Astra – мощную, но спорную в плане безопасности

OpenAI выпустила новую ИИ-модель Astra, ставшую самой мощной и производительной моделью компании на данный момент. Как сообщает компания в своём блоге, Astra “открывает новые горизонты в работе с компьютером и браузерами”, а также решает задачи с беспрецедентной “скоростью, точностью и безопасностью”.

  • OpenAI заявляет о высоком уровне способности модели к генерации кода, называя инструмент лучшим для помощи в разработке ПО и поиске уязвимостей в коде. По результатам ряда бенчмарков, оценивающих навыки модели в области решения задач по кибербезопасности, Astra превзошла Fable от Anthropic и Sol от OpenAI, использовав меньше выходных токенов и при этом обнаружив большее число уязвимостей. Модель способна самостоятельно выявлять уязвимости любого уровня сложности, создавать работающие эксплойты для защищенных систем, а также предсказывать возможные сценарии кибератак на указанную цель.
  • При этом сами разработчики сообщают, что из-за высокого риска автономного исправления обнаруженных уязвимостей без ведома пользователя, инструмент нуждался в дополнительных строгих ограничениях для защиты от несанкционированных действий. Из-за этого его релиз несколько раз откладывался, но компания утверждает, что теперь разработала меры защиты “в достаточной степени”: в частности, обучила Astra отклонять вредоносные запросы на помощь в кибероперациях (в 91% случаев) и внедрила дополнительные инструменты мониторинга, способные быстро сдерживать модель от совершения неразрешенных пользователем действий. 
  • Ещё один спорный момент, ставящий под вопрос безопасность использования Astra, заключается в том, что она применяет новую, особую архитектурную технику – непрозрачную рекуррентность. Это метод рассуждения, при котором нейросеть обрабатывает запрос нелинейно внутри своих скрытых слоев, что повышает её эффективность и скорость, но при этом лишает человека возможности отслеживать её мыслительный процесс, понимать причины тех или иных её выводов и вовремя предотвращать вредоносные действия с ее стороны. Такая техника возникла из-за эволюции ИИ-модели: по мере роста мощности она научилась выполнять сложные задачи с использованием меньшего количества языковых токенов, а следовательно, стала оставлять меньше текстового следа. 
  • На данный момент инструмент доступен для ограниченного числа пользователей. Компания планирует открыть к модели публичный доступ, но её функции в области решения киберзадач будут ограничены в целях безопасности. 

Источники: TechCrunch, OpenAI