Упавшая линия электропередачи обнажила растущую проблему центров обработки данных AI. Вот как её решить

На этой неделе за пределами Вашингтона, округ Колумбия, упала линия электропередачи. В обычных условиях электросети потребовалось бы всего несколько секунд, чтобы восстановиться после такого события. Но в этот раз процесс занял более 10 минут, потому что более 3 гигаватт центров обработки данных почти одновременно перестали потреблять электроэнергию.

Это событие вызвало скачок напряжения в сети PJM от Северной Вирджинии до Чикаго, согласно данным, собранным Ting Labs — стартапом, который управляет сетью IoT-сенсоров, установленных в электрических розетках людей. Инцидент не привёл к отключению электроэнергии, но вызвал мерцание света по всему региону, наглядно продемонстрировав влияние центров обработки данных на энергосистему.

Северная Вирджиния, находящаяся на территории PJM, является домом для самой высокой концентрации центров обработки данных в мире. Это делает регион особенно уязвимым для подобных инцидентов. «Это канарейка в угольной шахте», — сказал TechCrunch Рикардо де Азеведу, технический директор ON.Energy. По его словам, такие события с участием крупных потребителей энергии, как центры обработки данных, «происходят всё чаще и чаще».

Этот инцидент повторяет событие, произошедшее два года назад также в сети PJM, и может предвещать более серьёзные последствия, если центры обработки данных не будут спроектированы для более элегантного решения проблем с электроснабжением. PJM Interconnection управляет сетями от Нью-Джерси до Иллинойса и обслуживает 67 миллионов клиентов, являясь крупнейшим сетевым оператором в Соединённых Штатах.

Когда линия электропередачи вышла из строя, это спровоцировало переход центров обработки данных на резервное питание, и около 3,1 гигаватта нагрузки исчезло примерно за 30 секунд. Сеть, казалось, частично восстановилась, но вскоре после этого дополнительные нагрузки отключились. На пике в сети PJM было дополнительно 3,49 гигаватта электроэнергии. Потребовалось ещё 11 минут, прежде чем сеть стабилизировалась.

Несколько процентов могут не звучать как много, но электрическая сеть должна работать в состоянии почти идеального баланса, с тесно сопоставленным спросом и предложением. Если этого не происходит, напряжение может упасть или скакнуть. Сеть и подключённые к ней устройства могут выдерживать небольшие колебания, но если эти колебания становятся слишком сильными, они активируют предохранительные механизмы.

Когда центры обработки данных в Северной Вирджинии почувствовали колебание, вызванное падением линии электропередачи, они переключились на резервное питание, что сняло их нагрузку с сети. По мере того как всё больше центров обработки данных переключались, они снимали всё больше нагрузки. То, что началось как относительно небольшое падение предложения, стало ещё большим падением спроса, вызвав скачок предложения и мерцание лампочек.

Большинство центров обработки данных принимают решения за доли секунды, и те, что отключились на этой неделе, не были исключением. Когда падение напряжения достигло их, они все решили отключиться в течение нескольких секунд друг от друга, объяснил TechCrunch Али Зайн Банатвала, специалист по рыночным моделям из Independent Electricity System Operator.

«Нам нужно найти способ, чтобы эти нагрузки, расположенные рядом друг с другом, могли последовательно отключаться или подключаться обратно», — сказал он. Более упорядоченный процесс позволил бы сетевым операторам разработать более надёжные процедуры заранее. Альтернативно, центры обработки данных могут быть спроектированы так, чтобы поглощать помехи, а не отворачиваться от них.

Один стартап, ON.Energy, разработал продукт, помогающий центрам обработки данных и сети переживать подобные события. Компания создала бесперебойный источник питания для целого кампуса центров обработки данных, охватывающий не только серверы, но и чиллеры и другое оборудование. По сути, компания «прячет» центр обработки данных за батареей аккумуляторов, подключённой к сложному оборудованию преобразования энергии.

Система ON.Energy позволяет центрам обработки данных наращивать и снижать вычислительные нагрузки, включая обучение AI, не беспокоя сеть. Возможно, ещё более важно то, что центры обработки данных могут поглощать колебания энергии от сети. Вместо отключения от сети система ON.Energy может использовать лишнюю энергию для зарядки аккумуляторов, а при падении потока — направлять энергию на серверы.

ERCOT, например, собирается потребовать от крупных потребителей энергии, таких как центры обработки данных, «переживать» помехи. Часы тикают, однако. Массовое отключение на этой неделе было вдвое больше аналогичного события в 2024 году, когда 60 центров обработки данных одновременно отключились, сняв 1,5 гигаватта нагрузки с сети. Тогда центры обработки данных составляли около 6% нагрузки PJM. К 2040 году ожидается, что они будут составлять 24%. Если проблема не будет решена в ближайшее время, ситуация может значительно ухудшиться.

По материалам TechCrunch