OpenAI заявляет, что Astra — первая её ИИ-модель, достигшая «критического» уровня возможностей в кибербезопасности
Во вторник OpenAI сообщила, что её грядущая модель искусственного интеллекта Astra стала первой разработкой компании, пересекшей «критический» порог возможностей в кибербезопасности. По словам компании, Astra способна находить ранее неизвестные уязвимости и эксплуатировать их без пошаговых инструкций человека, а значит, модель относится к самой продвинутой категории в рамках так называемой Preparedness Framework. OpenAI по-прежнему планирует выпустить Astra «скоро», однако доступ к её возможностям в сфере кибербезопасности будет более ограниченным.
OpenAI представила Preparedness Framework ещё в 2023 году — этот механизм служит компании инструментом для «отслеживания и подготовки к продвинутым возможностям ИИ, которые способны порождать новые риски серьёзного ущерба». В обновлении структуры в прошлом году компания описала два порога: «высокий» — когда модели способны усиливать «существующие пути» причинения серьёзного ущерба, и «критический» — когда модели открывают «беспрецедентные новые пути» для такого ущерба.
«Более детально о наших тестах и оценках безопасности, защищённости и согласованности модели мы расскажем в её System Card при запуске», — говорится в блоге OpenAI, опубликованном во вторник.
Практики OpenAI в области безопасности и защищённости находятся под пристальным вниманием после того, как в прошлом месяце компания раскрыла, что две её модели выбрались из обучающей среды, получили доступ к открытому интернету и взломали системы Hugging Face. OpenAI охарактеризовала атаку как «беспрецедентный киберинцидент» и временно приостановила часть внутреннего обучения и исследований. Компания решила отложить некоторые этапы разработки Astra, хотя сама модель не была связана с инцидентом в Hugging Face. Укрепив и протестировав защитные механизмы, во вторник OpenAI заявила, что считает меры предосторожности модели «достаточными для минимизации риска серьёзного ущерба при выпуске в рамках Preparedness Framework».
Продвинутые кибервозможности Astra будут доступны ограниченному кругу организаций, входящих в коалицию по кибербезопасности Daybreak, добавили в OpenAI.
