DeepMind создала институт для спора об AGI: эссе, стандарты и «контролируемое замедление»
В среду исследователи Google и Google DeepMind объявили о создании DeepMind Institute — площадки, которая должна продвинуть разговор об искусственном общем интеллекте (AGI). Директорами института значатся соучредитель DeepMind Шейн Легг, топ-менеджер Google Джеймс Маника и председатель Google DeepMind Демис Хассабис; Легг также будет главным редактором.
Задача института — вывести наружу разногласия по AGI между Google, Google DeepMind и мировым исследовательским сообществом. «Они не всегда будут соглашаться и, скорее всего, станут менять мнение по мере появления новых данных — на этой быстро движущейся границе иначе не бывает», — говорится в анонсе.
Первый сборник состоит из четырёх эссе: экономическая политика на случай потрясений от AGI, сохранение понятных человеку рассуждений модели, принципы благополучия людей и рамка оценки передовых ИИ-моделей.
Одно из эссе, написанное исследователями безопасности DeepMind Рохином Шахом и Анкой Драган, доказывает, что сужение окна прозрачности ИИ — возможности видеть и проверять пошаговые рассуждения модели — не является неизбежным. По мере того как новые архитектуры делают самые мощные модели всё менее наблюдаемыми, разработчики и регуляторы, по мнению авторов, должны прямо признать связанные с этим компромиссы. Речь может идти об ограничении «непрозрачной последовательной глубины» — объёма вычислений, которые модель выполняет, не оставляя читаемого следа рассуждений, — либо о требовании доказывать, что менее прозрачные системы поддаются контролю не хуже.
В другом эссе Хассабис предлагает создать под руководством США орган по стандартам для передовых ИИ, который оценивал бы самые мощные модели. По его схеме разработчики сначала будут отдавать модели на проверку добровольно — за срок до 30 дней до выпуска. Когда система оценки докажет свою работоспособность, успешное прохождение тестов может стать обязательным условием для запуска передовых моделей в США.
Поначалу этот орган будет разрабатывать методики вместе с ИИ-компаниями, но со временем должен перейти к независимым и непубличным проверкам — «отложенным» тестам, как их называет автор эссе, — чтобы лаборатории не могли подгонять модели под известные задания. Хассабис отмечает, что рамки можно «затягивать, если серьёзность ситуации того потребует», вплоть до согласованного замедления работы передовых разработчиков.
Эссе выходят в момент, когда отраслевая дискуссия о безопасности переходит от общих заявлений о беспокойстве к конкретным предложениям: раскрытие информации, внешний контроль и — если защитные механизмы отстанут — согласованное замедление. На этой неделе сдвиг ускорился: лидеры отрасли поддержали часть призыва главы Anthropic Дарио Амодеи «задавать темп» развитию передовых ИИ.
