«Внимание» — суть интеллекта? Как одна математическая операция породила революцию ИИ
Всё, что захватило мир с момента выхода ChatGPT в 2022 году — «ИИ-экономика», дата-центры, чат-боты, действующие как лучшие друзья, врачи и математики, разговоры об экзистенциальном риске, — всё это в некотором смысле начинается со стажёра в лаборатории Университета Монреаля по имени Дмитрий Бахданау.
Был 2014 год. 23-летний белорус, соревновательно писавший код с детства, но не занимавшийся академическими исследованиями, был попрошен помочь выяснить, как заставить компьютер переводить предложения с английского на французский. Бахданау работал с искусственными нейросетями, которые уже показали успех в задачах распознавания образов. Он сомневался в их потенциале достичь чего-то вроде человеческого интеллекта, но его научный руководитель Йошуа Бенжио и постдок Киангхун Чо верили в них.
Перевод — не такая простая задача, как замена каждого английского слова французским. Языки имеют разные грамматические структуры, полны идиом и коннотаций. Ранние нейросети показывали посредственные результаты: чем длиннее предложение, тем хуже они работали, потому что исследователи пытались втиснуть данные каждого предложения в фиксированный объём памяти. Бахданау попробовал нечто иное.
«Это было просто очевидно правильным решением — одна из тех вещей, что случаются раз в науке, когда всё ясно тому, кто не слишком опытен в этой области, — вспоминал он. — И это просто сработало. С первой же попытки».
Трюк Бахданау — математическая операция, названная им, Чо и Бенжио «вниманием», позволила нейросети переводить длинные предложения так же хорошо, как и короткие. В 2017 году команда Google создала новую архитектуру нейросетей — трансформер, который сверхзарядил метод внимания. Статья команды «Attention Is All You Need» («Внимание — это всё, что вам нужно») сообщила о передовых результатах перевода, требуя доли вычислений, необходимых прежним моделям. Статья, цитируемая более 250 000 раз, стала поворотным моментом. Большие языковые модели — ChatGPT и Claude — последовали за ней.
Предложения с местоимениями вроде «it» иллюстрируют вызов, который преодолевает внимание. Рассмотрим: «Животное не перешло улицу, потому что было слишком усталым» и «Животное не перешло улицу, потому что она была слишком широкой». Модель должна определить, что в первом «оно» относится к животному (мужской род), а во втором — к улице (женский род). Бахданау вспомнил, что при переводе в школе ему приходилось переводить взгляд влево-вправо между исходным текстом и письмом. «Этот процесс я и выразил как нейронный механизм», — сказал он.
Как работает внимание
Трансформер состоит из многих слоёв узлов. Когда предложение входит в трансформер, каждое слово преобразуется в вектор. Векторы проходят сеть, и числа, называемые весами, определяют их преобразование. Веса превращают текущий вектор слова в три новых вектора — «запрос», «ключ» и «значение». Сеть выполняет операцию параллельно через головы внимания. Голова внимания сравнивает запрос каждого слова с ключами всех остальных слов. Насколько хорошо векторы совпадают, определяет, насколько сильно значение каждого другого слова вносит вклад в обновлённый вектор слова. Информация о других словах буквально включается в представление каждого слова. Система превращает контекст в математику.
Когда предложение проходит через трансформер, первый стек слоёв (энкодер) строит контекстуальное понимание. Запрос для «it» можно истолковать как «мне нужно более раннее существительное, которое может быть усталым». Ключ «животного» соответствует запросу лучше, чем ключ «улицы», поэтому значение «животного» сильнее вносит вклад в обновлённое представление «it». Вторая часть трансформера — декодер — производит перевод слово за словом, используя внимание.
Критично, что никому не пришлось говорить трансформеру, что животные устают, а улицы бывают широкими. Сеть обнаруживает такие ассоциации при обучении, извлекая их из множества пар английских и французских предложений. Ошибки перевода посылают сигнал коррекции, слегка меняющий веса. Через триллионы таких корректировок сеть генерирует полезные векторы.
Предсказание следующего слова
Нейросеть, научившаяся переводить, может также завершать предложения. Предсказание следующего слова — подзадача предсказания следующего слова вообще. Этим и занимаются большие языковые модели: они обучаются на содержимом всего интернета. «Интернет содержит переводы, — отмечает Ллион Джонс, один из авторов „Attention Is All You Need“, ныне технический директор Sakana AI. — Если я скажу: „Животное не перешло улицу, потому что было слишком усталым“ по-французски — [пропуск], то для завершения трансформеру нужно уметь переводить. Если я скажу „2 + 3 — это [пропуск]“, ему нужно делать арифметику. Быть способным предсказывать следующее слово требует способности делать всё это. Поскольку это „ИИ-полная“ задача, языковое моделирование — ближайшее определение интеллекта, которое у нас есть».
Но действительно ли наш мозг использует механизм, подобный вниманию? Когнитивные учёные начали изучать этот вопрос. Последние исследования убеждают, что человеческое мышление не чисто лингвистическое: при мышлении загорается больше областей мозга, чем языковые сети коры. Язык — как мы общаемся о мире, но наши мысли опираются на сенсорные впечатления, физический и социальный опыт, память и рассуждения, существующие вне языковых сетей. Так что языковое моделирование — лишь мощный компонент человеческого познания, а не его эквивалент или источник.
Джонс теперь считает, что внимание — не всё, что нужно для истинного овладения языковым моделированием: мозг выполняет эту задачу гораздо эффективнее трансформеров. «Текущая парадигма не решит эту [проблему эффективности]. Похоже, нужно перейти к чему-то очень, очень другому», — сказал он. Тем не менее понятно, что решение перевода разблокировало ИИ. Независимо от того, человек вы или машина, способность эффективно переводить означает, что вы в некотором смысле поняли. Теперь машины понимают так много, что мы едва знаем, что думать.
