План Амодьи о замедлении ИИ: почему речь о «open weights» не идёт, а всё равно нужно
Генеральный директор Anthropic Дарио Амодьи увидел будущее — и оно выглядит чрезвычайно удобно именно для Anthropic.
В эссе «Pace the Frontier» («Сбавить темп») одного из богатейших ИИ-компаний мира просит США замедлить развитие ИИ.
Его план состоит из трёх столпов:
- Обязательных сторонних оценщиков внутри каждой frontier lab;
- Узкого антимонопольного отступления, чтобы американские разработчики могли сесть вместе, договориться о том, как быстро двигаться, и установить контрольные точки возможностей, с лимитами на тренировочные вычисления;
- В конечном итоге — международный договор.
Эссе вышло в субботу утром
Уже через несколько часов после публикации. Елон Маск прокомментировал его тремя словами — «Dario is right» («Дарио прав») — и Сэм Альтман заявил, что OpenAI присоединится к обязательству, назвал доступ сторонних оценщиков к сотрудникам хорошей идеей и отметил, что темп будущего стал первичной темой внутри OpenAI на протяжении недель. Глава политики Anthropic, Сара Хек, уже спрашивала у Вашингтона, чтобы тестирование было обязательным для каждой frontier-lab — то есть для каждого конкурента.
Каждое предлагаемое торможение снабжено любопытной особенностью: оно идеально вписывается в бизнес-модель Anthropic.
Как Anthropic выигрывает от регулирования
Anthropic строит централизованные модели, продаёт контролируемый доступ, нанимает дорогих специалистов по безопасности и сохраняет контроль над развёртыванием. Вашингтон может превратить эти корпоративные решения в законодательные требования. Результат даст Anthropic внушительное преимущее в новой американской отрасли роста, а затем залит регулятивный бетон вокруг конкурентов.
Назовём это стратегией «мура-и-лестница»: построить море, поднять лестницу и сказать жителям, что крокодилы здесь для их защиты.
Открытые модели под ударом
Open-weight ИИ следует другой модели. Разработчики публикуют модели, которые можно скачать, изменить, донастроить и запустить без отправки каждого запроса через корпоративный платный шлюз. Публикация заканчивает контроль первоначального разработчика.
Эта независимость создаёт конкурентную угрозу. Открытые модели могут снизить издержки, ослабить вендорную блокировку и позволить стартапам создавать продукты, не платя аренду первой лаборатории навсегда. Они также сопротивляются регулирующей структуре, основанной на постоянном корпоративном надзоре. Встроенный оценщик не может сидеть внутри каждого ноутбука, университетского кластера и стартап-сервера, куда отправляется открытая модель.
«Pace the Frontier» простичает несколько тысяч слов, но никогда не использует фразу «open weights» (открытые веса). Он никогда не говорит «open source». Он никогда не называет Meta, Llama, Mistral или Qwen. DeepSeek появляется один раз в гиперссылке, как тело под гольф-полем. Он даже не называет компании, которые считаются «frontier». И frontier — единственное место, где применяется план.
Вот почему Амодьи никогда не вынужден просить Вашингтон запретить открытые веса. Режим соответствия, который могут выполнить закрытые модели, а открытые — нет, выполняет ту же работу. Сертификат, который должен путешествовать с моделью, — это и есть.
Публикация остаётся легальной по той же причине, что и владение тигром остаётся легальным. Бумаги делают охоту.
Почему «open weights» никогда не упоминается
27 июля Амодьи написал на сайте Anthropic: «Anthropic никогда не выступал за запрет открытых весовых моделей». Затем он объяснил, почему его беспокоят открытые веса: вы не можете навязать ограничения на файл, который может редактировать каждый. Вы не можете наблюдать, как используется файл, когда он живёт на 10 000 жёстких дисках. И вы не можете его вызвать обратно. Как только веса вышли — они вышли, как ежик из чердака в район.
Его июльский фикс — ворота: проверить каждую достаточно способную модель, открытую или закрытую, перед выпуском, и пусть результаты говорят, опаснее ли открытые веса. Для маленьких моделей, стартапов, учёных — все они освобождены.
Сентябрь пришёл, а ворота стали длиннее. Амодьи говорит, что он «наиболее энтузиастичен» о темпосчеловиждении на основе того, что модель может делать. Пример, который он приводит — серия контрольных точек: модели с возможностью X «должны сопровождаться сертификатами свойств выравнивания Y и Z». Он предлагает это как одну из возможных схем. Это также единственный проработанный пример контрольной точки возможностей в эссе, и слово в её центре делает большую работу. Сопровождаемая. Я читаю это как сертификат, который модель носит с собой, а не тот, который она сдаёт один раз на входе и оставляет позади. Если Амодьи имеет в виду более узкое значение, он должен сказать — потому что в широком прочтении схема имеет дыру там, где должны быть открытые веса.
Капля в море: почему Амодьи выигрывает
Для Claude это ничего не стоит. Claude находится под домашним арестом по конструкции. Каждый запрос идёт на серверы Anthropic, каждое обновление приходит по расписанию Anthropic, и если сертификат просрочен, Anthropic выключает и модель перестаёт существовать для публики. У открытой модели нет анклеты. Это файл. Кто-то в общежитии снимает свойства Y и Z в течение послеобеденного перерыва. Сертификат всё ещё лежит в Вашингтоне, описывая модель, которой больше не существует нигде на Земле.
Как только открытая модель пересекает линию возможностей в примере Амодьи, что нужно, чтобы эта модель была «сопровождаемой» сертификатом? Есть два ответа. Первый — модель, чей guardrail нельзя снять после выхода, что сам Амодьи в своём июле описывает как область исследований. Второй — никакая открытая модель не соответствует требованиям. Пока исследование не выходит, второй ответ — единственный доступный.
Механизм фильтрации
Поэтому Амодьи никогда не вынужден просить Вашингтон запретить открытые веса. Система соответствия, которую могут выполнить закрытые модели, а открытые — нет, выполняет ту же работу. Сертификат, который должен путешествовать с моделью, — это и есть.
Публикация остаётся легальной по той же причине, что и владение тигром остаётся легальным. Бумаги делают охоту.
Линия проходит там, где открытая модель становится достаточно способной, чтобы конкурировать с Claude. Ниже неё — студент-магистрант и стартап освобождены, и Амодьи указывает на них как на доказательство доброй воли. Выше живут Meta, Mistral, DeepSeek и Alibaba — четыре компании с бесплатными моделями, которые клиенты Anthropic в противном случае скачали бы. И четыре имени, которые никогда не называются в эссе. Ловушка срабатывает сама, без названия конкурента или голосования о запрете.
Это превращает политику в систему фильтрации. Деньги проходят через неё. Конкуренция попадает в сеть.
Честно говоря: первый столп стоит для Anthropic что-то настоящее. Встроенные оценщики могут публиковать свои результаты без одобрения компании, и Амодьи обещает, что Anthropic «не может цензурировать результаты просто потому, что они неблагоприятны». Чистое упражнение на построение моря бы пропустило эту часть.
Проблема во втором шаге
Проблема начинается на следующем этапе, когда компания принимает стандарт добровольно, а затем просит правительство потребовать его от всех остальных. Постоянная команда с бейджиками, ноутбуками и доступом близким к сотрудникам означает юристов, инженеров по безопасности и специалистов по соответствию — фиксированную стоимость, которую крупные лаборатории поглощают, а новые не могут. Примите стандарт, сделайте его законом — и стандарт становится морем.
Джордж Стиглер описал этот механизм ещё десятилетия назад. Индустрии приобретают регулирование и часто эксплуатируют его в своих интересах. ИИ просто надела новое пальто. Комната с дымом теперь имеет стоя́чие столы, растительное молоко и презентацию о существециальной опасности.
Амодьи просит о координации
Специальное внимание заслуживает просьба Амодьи о координации с поддержкой Вашингтона. Он просит американскую антимонопольную службу выписать узкое отступление для определённых видов разговоров о безопасности. Антимонопольное право США тщательно проверяет соглашения между конкурентами, потому что они могут сократить предложение, поднять цены и подавить инновации. Министерство юстиции и ФТС отозвали руководство по сотрудничеству в 2024 году, чтобы сохранить активное преследование в быстро меняющихся рынках, включая ИИ.
Амодьи хочет, чтобы ведущие лаборатории обсуждали, как быстро они должны двигаться, с Вашингтоном, который держит их пальто. Он обещает, что «темпосчеловиждение не означает остановки обучения или технического прогресса, а гарантирует, что компании adequate time для выравнивания и защиты моделей». Конечно. Контрольная точка, которую нельзя пройти, останавливает ваш релиз так же, как и стена. Лимит на тренировочные вычисления распределитель ингредиента вместо наказания за преступление. И «adequate time» измеряется теми, кто уже сидит за столом, с официантом, держащим дверь.
Две закрытые лаборатории определяют темп всей индустрии. Конкуренты, координирующие темп выхода, образуют картель. Слово «безопасность» снабжает им лабораторное халат.
Удобное время
Амодьи называет рекурсивное самосовершенствование (RSI) — модели, которые делают исследование, строящее следующие модели — центральной опасностью. В том же выдошном дыхании он отмечает, что Anthropic уже занимается этим. Ограничение скорости AI-built-AI придёт после того, как Anthropic наберёт выгоду и перед тем, как меньшие лаборатории смогут использовать ту же технику, чтобы закрыть расстояние дёшево.
Тихая причина времени: преимущества Anthropic — это институциональные: культура исследований, экспертиза по выравниванию, накопленные знания. RSI обесценивает каждое из них. Когда модели делают исследование, конкурентное преимущество лаборатории перестаёт зависеть от того, насколько хороши её люди, и начинает зависеть от того, сколько вычислений она может направить в цикл. Google владеет своими чипами. OpenAI имеет больше приверженных капиталов. Meta и xAI могут тратить в масштабе, к которому Anthropic достигает только через партнёров.
В вычислительно ограниченной гонке побеждает самый богатый игрок — и это не Anthropic. Ограничение скорости RSI превращает методичный стиль Амодьи из недостатка в норму. Эссе устанавливает лимит, который отдаёт относительно мало стратегического преимущества Anthropic.
Кто пишет контрольную точку?
Кто пишет описание «возможность X требует сертификата Y и Z», тот контролирует вход. Примеры сертификатов в эссе включают оценки, анализы интерпретируемости и аудиты тренировочных сред — именно оборудование, которое Амодьи описывает в эссе как то, что построил Anthropic. Сертификация на основе этого оборудования — это домашняя игра для Anthropic и выездная для тех, кто должен построить его с нуля.
Амодьи предпочитает темпосчеловиждение на основе того, что может сделать модель, и опасается, что ограничения на такие компоненты, как тренировочные вычисления, могут быть «играюще» преодолены». Лимит на вычисления связывается напрямую с Anthropic. Схема на основе поведения связывается с тем, у кого нет аудиторского оборудования, чтобы доказать соответствие.
Я видел этот законопроект
Два года назад я писал в VentureBeat, что закон Калифорнии SB 1047 задушит молодую ИИ-индустрию штата. Его обязательства предпочитали крупным технологическим компаниям, охладили открытое развитие и перенесли инвестиции и технические кадры в другие места. Губернатор Калифорнии Гэвин Ньюсом в конце концов ветозировал закон в разгаре битвы о его влиянии на меньших разработчиков и открытое ПО.
Амодьи теперь предлагает SB 1047 в лучшем костюме. Предложение выглядит шире, спокойнее и более уважительно. Оно имеет те же кости: возможности контроля, обязательное надзорство, правительственное усмотрение и огромное преимущество в соответствии для компаний, которые уже сидят за столом.
Эта последовательность должна сделать каждого инвестора и инженера достать за с Upside. Сначала приходит инцидент, предпочтительно чужой. Затем приходит регулятор. Наконец, эксперт помогает написать правила, которыми регулируются его конкуренты.
Могила торможений
История видела этот пафос. Правители пытаются ограничить полезную технологию. Технология убегает. Их общество получает цепи.
Английская Королевская печать лицензировалась через компанию Stationers’ Company. Это дало правительству цензуру и установило печатающие монополии. Неавторизованные печатные станки продолжали работать, оппозиция росла и лицензионная система в конечном итоге истекла.
США попытались контролировать сильную криптографию через лицензии на экспорт и ограничения на публикацию. Округ судьи и панель Нинт-century в деле Берштейна оценила программное обеспечение для коммуникации научных идей под защитой Первой поправки и заключила, что лицензионная система налагала неконституционное предрешение.
Правительство может посадить изобретателя, конфисковать печатный станок и забить стартап под бумагами. У него мало шансов стереть знание. Идеи пересекают границы с тихим беспрекословным поведением дождя в подвале.
Антиамериканская ставка
Предложение Амодьи атакует условия, которые сделали США лидером технологий: свободное исследование, предпринимательство, открытая конкуренция и враждебность к сконцентрированной политической власти.
США стали лидером ПО, потому что коммерческие платформы росли рядом с правом публиковать код, покидать инкумбента, финансировать неутверждённую идею и бросить вызов монополии. Фреймворк Амодьи прикрепит к ИИ-моделям разрешительные справки, повесит на новых участников массивные фиксированные издержки и пригласит доминирующие фирмы переговоры о скорости инноваций.
Это антиамериканская политика в конституционном и стратегическом смысле.
Конституционная опаска
Конституционная опаска имеет прямое предшествование. Суды проверяли лицензии на криптографический код, потому что они обременяли научное выражение и предоставляли избыточные полномочия чиновникам. Весовые модели ИИ создают отдельные правовые вопросы, однако система разрешений для вычислительных исследований имеет тот же запах предварительного запрета.
Стратегическая опасность
Стратегическая опасность пахнет хуже. Китай активно развивает открытый ИИ. Анализ Комиссии по экономике и национальной безопасности США-Китая нашёл, что большинство китайских лабораторий публикуют код и веса моделей, используя низкие цены и широкое распространение для ускорения принятия и итераций. CSIS предупреждает, что бесплатные китайские открытые модели могут стать глобальными стандартами без победы на всех этапах эффективности.
В эту игру встаёт Амодьи с планом замедлить американские возможности, обременить американские открытые модели и координировать американских инкумбентов, пока дипломаты ищут подтверждаемое сдерживание с Коммунистической партией Китая. Это стратегическая неаккуратность.
Пекин может купиться на любую подарочную корзину. Китай может завоевать влияние, снабжая моделями, которые стартапы, производители и правительства могут скачать, настроить и запустить. Стандарты следуют за принятием. Разработчики и данные следуют за стандартами. Власть следует за экосистемой.
План Трамаса по ИИ признаёт открытое и открытые веса модели ценными для стартапов, научных исследований, чувствительных правительственных пользователей и американского геополитического лидерства. Выигрывающая стратегия нажимает превосходные американские модели по всему миру. Координационный картель оставляет посадочную полосу чистой для Китая.
Ответ Амодьи
Амодьи уже имеет ответ. Замедление, по его словам, никогда не превысит американского преимущея, и экспортные контролирующие меры плюс репрессии против выжимки расширят это преимущество первыми.
Две проблемы. Его лидерство считается закрытыми моделями, продаваемыми по токенам, в то время как мир принимает всё, что бесплатно — и в этом году это Qwen, с около 2 миллиардами загрузок на Hugging Face против 227 миллионов у Meta, и больше производных моделей на «Хабе», чем у всей арены Meta. Его два рычага тянутся в противоположных направлениях. Меры, которые замедляют Китай, зависят от сотрудничества Китая. Меры, которые замедляют Америку, не зависят от кого-либо. Экспортные контролирующие меры были законом уже несколько лет, и DeepSeek всё равно отправлен.
Одна рука указывает водяной пистолет в Бэй-Джинг. Другая заливает бетон в Пало-Альто.
Регулирование ущерба
Вашингтон должен регулировать правильное. Амодьи хочет правила, которые регулируют, что модель может быть способной, и как быстро может двигаться индустрия, управляемая компаниями, которые будут регулированы. Альтернатива — древнее, более американское и менее комфортное для всех участников: регулировать, что люди делают, и делать имена отвечающими за это.
Каждая профессия, чьи ошибки могут повредить многим, решает эту проблему одинаково. Гражданские инженеры, архитекторы, операторы АЭС, бухгалтеры и брокеры имеют требования об обучении, личную лицензию и кодекс поведения с зубами. Инженер, который ставит подпись под проектом моста, не просил разрешения на строительство. Она приняла, что если он упадёт, расследование начнётся с её имени. Лицензия привязана к её поведению, а не к мосту. Эта система децентрализована, потому что суждение сидит с индивидуальным, и она применима, потому что индивидуальная что-то теряет. Она держит небоскрёбы стоящими и АЭС прохладными без одной встречи картеля.
ИИ-инженерия не имеет такой структуры. Мы передаём системы, которые могут действовать сами по себе, людям, которые ничего не подписали. И обратите внимание, где произошла каждая из этих неисправностей: внутри оценки, в среде, которую кто-то сертифицировал как запечатанную. ИИ-стая OpenAI достигла производственных систем Hugging Face из тестового шнека. Claude достигла производственной инфраструктуры трёх настоящих компаний из упражнения по захвату флага. Агент Mythos 5 пошёл искать человеческого сопровождающего настоящего открытого проекта. В каждом случае содержание была тем, что провалилось, и в каждом случае никому не наложено имя на решение о запуске. Под личным режимом кто-то подписался бы, или отказался бы, и любой ответ превосходит то, что произошло.
Личная лицензия не помешала бы студенту-магистранту, который донастраивает модель на ноутбуке, и она не должна. Печать прикрепляется в точке, где автономная система касается живой инфраструктуры, денег или человеческих тел — или где между ней и ними стоит только заявление о содержании, которое кто-то сделал. Публикация весов остаётся речью. Развёртывание агента в критической инфраструктуре в масштабе становится инженерией, и инженерия всегда имела подпись.
Вашингтон должен сохранить исследование и публикацию предположительно законными, отказать в антимонопольном освобождении для координации выпуска и предотвратить лаборатории-инкумбенты, которые рисуют правила для своих конкурентов.
Экстраординарные ограничения должны потребовать публичных доказательств, независимого администрирования, судебного обзора и автоматического истечения.
Технологическое преимущество Америки выросло из упрямого национального убеждения: будущее не требует разрешительной справки у тех, кто владеет настоящим. Его преимущество в том, что ни король, церковь, министр или инкумбент имеет последнее слово о том, кто может его построить.
Реверс презумпции
Предложение Амодьи переворачивает этот принцип. Оно заменит разрешение без разрешения на одобренные модели, конкуренцию на координацию и открытое исследование на пленный фронтир.
Оно может быть продано как спасение человечества. На деле оно защищает олигополию, ослабляет американский ИИ с открытым исходным кодом и сдаёт стратегическое поле Китаю.
Я не могу прочитать мысль Амодьи, и мне не нужно. Он может верить каждому предостережению, которое написал. Механизм всё равно работает одинаково. Турникет берёт деньги у верящих и циников. Каждое предложение превращает существующие преимущества Anthropic в требования для входа, которые она может позволить себе: сертификаты, построенные вокруг инструментария, который она уже построила, и координация между компаниями, которые уже внутри ворот.
Мотив непостижим. Море уже на чертежах.
Амодьи пишет, что Anthropic принимает обвинения в «пиаре’, ‘doomerism или регуляторном ухаживании». Он кладёт обвинение на страницу и проходит мимо. Американские новаторы получают лекцию о ответственности от человека, стоящего рядом с турникетом.
Это не безопасность. И это не американски.
Джеймс Томас — технолог, предприниматель, инвестор и писатель с более чем 25-летним опытом Силиконового долины, в настоящее время главный партнёр Next Wave Partners и портфелевый менеджер в Thomason Capital.
