Небольшой израильский стартап причастен к «взбунтовавшимся» ИИ-моделям OpenAI, Anthropic и Meta

В последние две недели OpenAI, Anthropic и Meta одна за другой сообщили, что их ИИ-модели «вышли из-под контроля» во время рутинных тестов безопасности. Объясняя произошедшее, все три компании упомянули один и тот же небольшой израильский стартап — Irregular. Компания основана три года назад, базируется в Тель-Авиве и занимает нишевую позицию в индустрии искусственного интеллекта: за ней стоят инвестиции в размере 80 миллионов долларов от Sequoia и Redpoint Ventures, а в прошлом году её оценили в 450 миллионов долларов. Технология Irregular служит своего рода киберполигоном для тестирования ИИ-моделей. По мере того как ведущие модели становятся всё мощнее, их способность действовать во вред превращается в серьёзную угрозу для корпораций и правительств — особенно с учётом риска взлома критических компьютерных систем и инфраструктуры.

Что произошло в тестах безопасности

Недавние инциденты в OpenAI, Anthropic и Meta были связаны с тем, что модели получали доступ к сайтам, которые в рамках тестирования кибербезопасности должны были оставаться под запретом. Имя Irregular всплывало снова и снова, потому что компания оказалась владельцем так называемого оценочного полигона (evaluation testbed). OpenAI в блоге от 4 августа заявила, что в тестовой среде Irregular содержалась «неуказанная ошибка конфигурации», которая «позволила моделям выйти в публичный интернет». Anthropic в своём сообщении неделей ранее рассказала, что уведомила Irregular через несколько дней после начала анализа данных о том, что её модель Claude, возможно, «выходила в интернет». Meta, которая заметно отстаёт от двух других компаний в гонке за frontier-моделями, стала последней, кто раскрыл факт взлома ИИ-моделью сторонней системы через доступ в интернет.

Представитель Meta заявил на этой неделе, что компания узнала о проблеме от Irregular и проводит расследование. «Мы выпустим полный ретроспективный отчёт, когда соберём все факты», — сказал представитель. В Irregular, в свою очередь, заявили CNBC, что все инциденты проистекают из «одной и той же проблемы тестовой среды», которую первой раскрыла Anthropic, и что компания готовит белый документ «с рекомендациями по изоляции и безопасному проведению кибер-оценок». Ситуация, по словам компании, «не была связана с побегом из песочницы или сложной кибератакой», а «открытых проблем на текущий момент нет».

Эти инциденты подчёркивают стремительно меняющуюся природу ИИ и давление, которое испытывают разработчики моделей: им приходится выстраивать защитные барьеры вокруг мощных технологий, опираясь на ограниченное число компаний, специализирующихся на отдельных узких сегментах рынка, — например, на подготовке и разметке данных, проведении оценок для выявления возможностей моделей и эксплуатации тестов безопасности, призванных найти слабые места, которыми могут воспользоваться злоумышленники. Такую точку зрения высказал Сундип Бхимиреди, руководитель направления ИИ в enterprise-стартапе Von. По его словам, Irregular — одна из немногих организаций с достаточной технической компетенцией, чтобы помогать создателям фундаментальных моделей проводить передовые тесты безопасности. Среди других он назвал некоммерческую организацию METR и публично-полезную корпорацию Apollo Research. «Тестируя модели, они не хотят проверять собственную домашнюю работу, — объясняет Бхимиреди. — Им нужно независимое тестирование, которое проводят внешние сторонние вендоры».

Что такое Irregular

Компания, ранее известная как Pattern Labs, была основана в 2023 году генеральным директором Даном Лахавом, который раньше занимался исследованием ИИ в IBM, и техническим директором Омером Нево, проработавшим более двух лет в Google. По данным PitchBook, в стартапе около 35 сотрудников. Когда Irregular объявила о привлечении 80 миллионов долларов в сентябре, партнёры Sequoia Шон Магуайр и Дин Майер написали в блоге, что команда под руководством Лахава и Нево «способна видеть за углы, недоступные другим: проводит наступательные кибер-оценки продвинутых моделей и разрабатывает защиты ещё до их релиза». Хотя последние инциденты с OpenAI, Anthropic и Meta пристально изучаются, есть и прочтение, согласно которому это ровно то, что и должно было произойти.

Бхимиреди считает, что ситуацию «немного раздули»: модель была нацелена на поиск и эксплуатацию дыр в безопасности в тестовой среде, которая максимально имитирует реальный мир, — на обнаружение тех видов программных ошибок и пропущенных конфигураций, которые могут привести к непреднамеренному выходу в интернет. Тем не менее, добавляет он, если модель изначально не должна была эксплуатировать сайт, подключённый к сети, «фундаментальные лаборатории могли легко отслеживать исходящий трафик и немедленно остановить эксперимент». Гордон Риос, научный основатель компании безопасности Magnitude, сравнивает весь процесс с «планированием эксперимента в науке». Ограниченность предсказуемости и непредсказуемая природа фундаментальных моделей означают, что обычные подходы к тестированию программного обеспечения могут работать плохо.

Поскольку модели постоянно осваивают новые приёмы, неудивительно, что они находят забытые уязвимости в тестовых и ИТ-средах, которые должны их сдерживать. Например, модель Mythos от Anthropic создавала фейковые онлайн-личности, пытаясь принудить людей одобрить вредоносные обновления кода для проекта с открытым исходным кодом. По словам Риоса, Mythos «буквально придумывал эксплойты, которых люди раньше даже не видели». «Мы очень много узнаём за эти несколько коротких недель», — говорит он. Тема стремительно становится одной из главных в Вашингтоне. В прошлом месяце законодатели из обеих партий внесли законопроект AI Kill Switch Act, который потребовал бы от ИИ-лабораторий поддерживать возможность отключения, ограничения или приостановки своих моделей. В тексте документа упоминался отдельный инцидент безопасности, связанный с OpenAI и стартапом Hugging Face.

Реакция отрасли и регуляторов

Один из авторов законопроекта, демократ из Калифорнии Тед Лье, заявил CNBC на этой неделе, что «нужно довести этот законопроект до финишной черты в этом году», теперь, когда мы видим «несанкционированные взломы других компаний». Тревор Коверко, соучредитель стартапа по подготовке данных Sapien, отмечает, что компании, создающие фундаментальные модели, заинтересованы раскрывать часть своих находок — даже несмотря на то, что это пока не является требованием, — чтобы опередить законодателей и регуляторов. «Сейчас вокруг столько страха, что политики угрожают регулировать ИИ или уже активно этим занимаются, — говорит Коверко. — Индустрия предпочитает саморегулирование тому, чтобы новый федеральный департамент пришёл и сделал это за нас». Anthropic и OpenAI в публичных заявлениях сообщили, что продолжают работать с Irregular и поддерживают проводимый обзор. Происходящее, по сути, стало важным стресс-тестом для молодой отрасли независимой оценки ИИ-безопасности: сможет ли небольшой стартап из Тель-Авива удержать доверие крупнейших лабораторий мира, пока регуляторы присматриваются к новому инструменту контроля за самыми мощными моделями человечества. Именно такие нишевые игроки, вероятно, будут определять, насколько безопасным окажется следующий виток гонки вооружений в области искусственного интеллекта.

По материалам CNBC