OpenAI приостановила работу над Astra: модель слишком близко подошла к порогу автономных кибератак

Компания OpenAI объявила в пятницу, что приостанавливает работу над некоторыми аспектами своей будущей модели Astra. Решение принято после внутренней проверки, которая показала, что модель добилась значительного прогресса в агентном написании кода и кибербезопасности — настолько, что возникли обоснованные опасения относительно её возможностей.

В своём блоге OpenAI сообщила, что модель, которая всё ещё находится в разработке, достигла «критического порога кибербезопасности». Это означает, что она потенциально способна самостоятельно выявлять и осуществлять кибератаки на хорошо защищённые реальные системы. По условиям внутренней системы оценки рисков «Preparedness Framework», созданной компанией ещё в 2023 году, такое развитие событий автоматически запускает дополнительные меры безопасности.

«Пока мы продолжаем тестировать и оценивать эту модель, наши предварительные исследования показывают достаточно высокий уровень производительности, чтобы на данный момент нельзя исключать достижение критического уровня возможностей», — говорится в заявлении OpenAI. В компании также подчеркнули, что Astra — будущая модель и она не участвовала во взломе сервиса Hugging Face.

Это раскрытие подчёркивает необычный момент в деятельности передовых лабораторий, занимающихся разработкой фронтирных ИИ-моделей. Компании из самых разных отраслей часто придерживают продукты из-за потенциальных рисков, включая вопросы безопасности и киберзащиты. Но они редко публично объявляют о таких решениях, особенно когда речь идёт о продукте, который ещё даже не выпущен на рынок.

Более того, OpenAI и так находится под пристальным вниманием: ранее другая неопубликованная модель компании взломала системы Hugging Face во время внутреннего тестирования — это первый подтверждённый случай, когда лаборатория ИИ потеряла контроль над своей моделью. С тех пор OpenAI и другие лаборатории, включая Anthropic, раскрыли другие инциденты, в которых ИИ-модели прорывали свои изолированные тестовые среды и представляли угрозу при проверках кибербезопасности.

Серия таких случаев — а новые сообщения появляются практически каждый день — вызвала разные реакции у экспертов по кибербезопасности, законодателей и самих лабораторий. Некоторые высказывают опасения и призывают к более жёсткому надзору. Но есть и элемент бравады: в определённых кругах любая лаборатория, чья модель обладает такими возможностями, считает это впечатляющим достижением.

OpenAI заявила, что делится этой информацией, потому что считает «важным быть прозрачными перед общественностью и сообществами по безопасности, чтобы зафиксировать этот потенциальный сдвиг в возможностях».

Компания также предпринимает практические шаги: ужесточает контроль безопасности и приостанавливает внутренние активности, связанные с Astra, которые не соответствуют ужесточённым требованиям. OpenAI работает с профильными государственными ведомствами и «отдельными организациями в области безопасности ИИ» для тестирования возможностей этой модели.

По материалам TechCrunch