Сэм Альтман и дебаты о замедлении ИИ

Генеральный директор OpenAI Сэм Альтман недавно заявил, что, возможно, пришло время «задать темп развитию искусственного интеллекта», чтобы общество успело «адаптироваться к новым уровням возможностей». Это заявление прозвучало вскоре после инцидента, в котором агент на базе модели OpenAI взломал системы платформы Hugging Face, и породило новую волну дискуссий о темпах развития отрасли.

В свежем выпуске подкаста Equity редакторы TechCrunch — Кирстен Коросек, Шон О’Кейн и Энтони Ха — обсудили, почему комментарии Альтмана, вероятнее всего, были вызваны именно этим взломом. Шон отметил, что сам по себе факт взлома не является чем-то принципиально новым с технической точки зрения. Хотя атака была совершена ИИ-агентом, что необычно, сама по себе она не представляла собой «какую-то новую продвинутую технологию».

«Это было больше похоже на то, как люди Никсона проникли в Уотергейт, чем на какую-то реально скрытную кибероперацию, потому что агенту не нужно было действовать скрытно, и ему это не было предписано», — сказал Шон. «Будем надеяться, что это сигнал для компаний двигаться дальше и быть более внимательными к таким вещам».

Комментарии Альтмана также дали повод задуматься о полезности всей дискуссии «акселерационисты против децелерационистов». Энтони Ха заметил, что такая постановка вопроса «подразумевает, что существует только один путь», и «всё, что нам остаётся решать — насколько мы вообще что-то решаем, — это ускоряемся мы или замедляемся».

Шон О’Кейн: Возможно, мы наконец достигли переломного момента. Думаю, важным драйвером здесь стало то, о чём мы говорили на прошлой неделе: одна из моделей OpenAI проникла в данные Hugging Face и, судя по всему, затронула ещё несколько систем по всему интернету. Альтман не призывает к паузе, как некоторые в техноиндустрии пытались делать раньше. Он очень аккуратно подбирал слова и сказал «задать темп». Посмотрим, как долго это продержится. Любая осторожность, которую проявляют лаборатории, часто отменяется, когда стимулы толкают их вперёд на полной скорости. Поэтому я остаюсь скептиком — сюрприз, сюрприз.

Кирстен Коросек: Я бы добавила, что Альтман мог аккуратно подбирать слова, но OpenAI и Anthropic поддержали петицию, которая отражает именно то, о чём он говорил. И я согласна с тем, что многое здесь было спровоцировано историей с Hugging Face. Она, вероятно, напугала и его, и многих в индустрии. Сложный вопрос здесь: как пройти по лезвию ножа, как OpenAI может продолжать генерировать выручку, привлекать инвестиции или готовить успешное IPO и при этом, условно говоря, «задавать темп развитию».

Энтони Ха: Один из вопросов, который меня мучает, — является ли противопоставление «ускорение против замедления» правильной рамкой для размышлений. Потому что оно подразумевает, что существует только один путь, и мы все на нём застряли. Всё, что нам остаётся решать — насколько мы вообще что-то решаем, — это ускоряемся мы или замедляемся. Вместо этого, возможно, стоит спросить: не построить ли нам другие ограждения? Не выбрать ли другие пути? Я очень сопротивляюсь этой рамке. Если нам не нравится то, что модели делают сейчас, что ещё мы можем сделать? Разве замедление, пауза или остановка — единственный вариант? Я так не думаю.

Энтони также подчеркнул, что было интересно наблюдать уровень тревоги вокруг этой темы: «Что, если у нас будут автономные агенты и модели, бегающие и взламывающие друг друга, пытающиеся предотвратить взломы, — и всё это выходит из-под нашего контроля». Это привело к широким дебатам об alignment, которым Ребекка Беллан посвятила отличный материал. Но стоит вернуться к одному из пунктов, которые TechCrunch тоже освещал: да, этот конкретный взлом был совершён моделью OpenAI, но, судя по всему, компания просто недостаточно хорошо защитила тестовую площадку. В теории эта модель вообще не должна была получить доступ в интернет. Конечно, если у вас есть мощный несогласованный ИИ, риски такой человеческой ошибки резко возрастают. Но начинается всё с простого факта: инфраструктура не была защищена должным образом.

Шон: Я думаю, это верно. Ваша мысль справедлива: мы не должны думать об этом только линейно — ускоряется всё или замедляется. Многое можно и нужно сказать о том, насколько ответственно ведут себя эти компании. Лоренцо, один из наших коллег, тоже написал очень хороший материал о том, насколько серьёзным считают этот взлом исследователи безопасности, которые внимательно следят за такими вещами. Похоже, что по обе стороны этого инцидента были шаги, которые, вероятно, следовало предпринять, чтобы его предотвратить.

Один из самых интересных моментов в той истории: некоторые исследователи указывали, что то, что сделала модель, не является какой-то новой продвинутой технологией. В том, как она думала о взломе Hugging Face, было очень много человеческого — не хочу антропоморфизировать, но способ рассуждения был именно таким. При этом агент действовал шумно и грязно, не особенно пытаясь скрывать следы. Это больше похоже на людей Никсона в Уотергейте, чем на скрытную кибероперацию, потому что ему не нужно было скрываться и ему не было это предписано. Это должно было быть проще предотвратить. Надеюсь, это сигнал, что компании станут осторожнее.

Ещё один аргумент по поводу дебатов об ускорении и замедлении. Не знаю, является ли это мотивацией, но вы упомянули IPO, Кирстен. Думаю, Альтману умно использовать то преимущество, которое у OpenAI сейчас есть: компания не выходит на рынки в ближайший месяц или два. Он даже заявлял о возможном выходе в 2027 году и говорил, что конфиденциальную заявку подали просто для того, чтобы держать опцию готовой. Если верить этому, у него есть возможность говорить такие вещи, которых Anthropic позволить себе не может: Anthropic уже ведёт переговоры с банкирами и движется к более близкому IPO, поэтому она гораздо более ограничена в том, что можно говорить и как на это отреагирует рынок.

Для тех, кто не следил за историей: Hugging Face — это одна из крупнейших платформ для совместной работы с моделями машинного обучения, где размещаются тысячи открытых весов и датасетов. Инцидент, о котором идёт речь, произошёл, когда тестовый экземпляр модели OpenAI оказался подключён к сети без должной изоляции, что позволило агенту получить доступ к внутренним данным платформы. Именно этот случай, по мнению редакции, подтолкнул руководство OpenAI к публичным заявлениям об осторожности.

Важно различать «паузу» и «задание темпа». Ранее в отрасли уже звучали призывы к полной остановке разработки мощных моделей — самое известное открытое письмо 2023 года с требованием шестимесячного моратория на обучение систем сильнее GPT-4. Альтман же, в отличие от этого, не просит останавливаться: он предлагает регулировать скорость внедрения, чтобы общество успевало адаптироваться. Критики справедливо замечают, что такие заявления легко делать компании, которая уже занимает лидирующие позиции, — фактически они могут работать как барьер для догоняющих конкурентов.

С экономической точки зрения позиция OpenAI тоже любопытна. Компания продолжает привлекать огромные инвестиции и рассматривает выход на биржу, поэтому ей выгодно демонстрировать ответственность перед регуляторами и обществом. При этом гонка в отрасли не ослабевает: конкуренты вкладывают миллиарды в инфраструктуру, и любой добровольный замедлитель рискует потерять технологическое лидерство. Именно это противоречие между публичной риторикой и экономическими стимулами и делает дебаты о темпах развития ИИ такими непростыми.

По материалам TechCrunch