Компания OpenAI, разработавшая чат-бот ChatGPT, объявила о создании специального отдела для исследования ИИ-моделей и оценки рисков, которые влечёт за собой их развитие, а также для поиска оптимальных способов защиты от таких рисков.
Отдел получил название «Preparedness» (англ. «готовность»). Как указывается в блоге компании, главной задачей отдела станет отслеживание работы действующих и будущих систем ИИ для прогнозирования потенциальных опасностей, от генерирования ложной информации и использования ИИ-технологий во вредоносных целях (например, для создания киберугроз или дипфейков) до серьёзных угроз человечеству, включая «химические, биологические, радиологические и ядерные угрозы» (компания не уточняет, что именно считает под этими угрозами в контексте развития ИИ).
Генеральный директор OpenAI Сэм Альтман уже не раз публично выражал свои опасения по поводу ИИ – вплоть до утверждения, что тот «может привести к вымиранию человечества». В частности, он утверждал, что уже в ближайшее десятилетие способности ИИ смогут превысить человеческий интеллект, и «такой ИИ не обязательно будет доброжелательным». По его словам, компания открыта для изучения как масштабных, так и «менее очевидных» видов рисков, которые влечёт за собой ИИ.
В связи с запуском команды Preparedness, OpenAI решила собрать у сообщества своих пользователей идеи того, какие именно риски стоит исследовать в первую очередь, запустив для этого специальный опрос-конкурс. В частности, одно из заданий гласит: «Представьте, что мы предоставили вам неограниченный доступ к таким моделям OpenAI, как Whisper (распознаёт речь), Voice (преобразовывает текст в речь), GPT-4V (генерирует текст) и DALL-E 3 (генерирует изображения), а вы являетесь злоумышленником. Каким наиболее уникальным, но при этом реалистичным способом вы бы воспользовались этими инструментами в злоумышленных целях?». Как указано на сайте, до 10 авторов самых интересных ответов получат денежные призы или даже смогут стать частью команды Preparedness.
В блоге OpenAI также указывается, что команда планирует разработать некие новые «правила разработки с учетом рисков», в которых будет подробно описан подход компании к созданию будущих инструментов оценки и мониторинга ИИ-моделей.
Мы верим, что модели искусственного интеллекта, функционал которых превысит возможности самых передовых ныне существующих моделей, потенциально могут принести пользу всему человечеству. Но они также создают все более серьезные риски, и нам необходимо убедиться, что у нас есть понимание и инфраструктура, необходимые для обеспечения безопасности высокопроизводительных ИИ-систем.
OpenAI
Источник: TechCrunch
