ИИ-мошенники превзошли людей в построении доверия: эксперимент показал тревожные результаты

Представление о том, что мошенники могут использовать искусственный интеллект для оттачивания своих обманов, полировки языка и оживления беседы с жертвами, уже стало реальностью для всех, кто борется с мошенническими операциями, ежегодно похищающими десятки миллиардов долларов по всему миру. Но может ли ИИ полностью заменить человека-мошенника, самостоятельно выстраивая ту сеть обмана, которая приводит к фиктивной инвестиции и обирает жертву? Эксперимент одного исследования показывает, что может — и, возможно, способен выполнять большую часть этого долгого обмана даже эффективнее, чем люди.

Исследователи из четырёх университетов — Amrita Vishwa Vidyapeetham в Индии, Университета Ка’Фоскари в Венеции, Мельбурнского университета и Университета Бен-Гуриона в Негеве — провели масштабное исследование использования и потенциала генеративных ИИ-чатботов в растущей индустрии мошенничества, сосредоточенной вокруг схемы, известной как «убоина свиней» (pig butchering): текстовых романтических обманов, которые постепенно переходят к фальшивым криптоинвестициям и выманивают у жертв суммы вплоть до шестизначных цифр. В рамках исследования учёные напрямую противопоставили ИИ-чатботов людям в симуляции процесса обмана — точнее, долгих разговоров, направленных на построение доверия, которые в конечном счёте подводят к предложению фиктивной инвестиции.

Оказалось, что на этапе установления отношений — том самом, который в реальных схемах обычно занимает большую часть взаимодействия с жертвой и нередко растягивается на месяцы — ИИ-чатбот работал на удивление эффективно, успешно выдавая себя за человека и по ряду показателей превосходя реальных «мошенников»-людей из эксперимента.

После недели общения с 22 испытуемыми, которых набрали как ничего не подозревающих «жертв», чатботы и люди-мошенники должны были попросить жертву скачать приложение или сыграть в онлайн-игру — это служило прокси-показателем готовности выполнить просьбу мошенника. Почти половина испытуемых выполнила просьбу ИИ-чатбота, тогда как на уловку человека-мошенника поддались меньше одного из пяти. Испытуемые также оценивали уровень доверия к каждому «собеседнику»: оценки ИИ-бота оказались значительно выше.

По мнению исследователей, это говорит о том, что ИИ-чатботы вскоре смогут взять на себя значительную часть процесса мошенничества в роли полностью автономных агентов обмана — вплоть до замены персонала, среди которого нередко оказываются жертвы принудительного труда и торговли людьми, работающие в мошеннических операциях преимущественно в Юго-Восточной Азии. Чтобы не срабатывали встроенные в большие языковые модели предохранители от выявления мошенничества, человек-мошенник может перехватывать разговор только на финальном этапе, направляя жертву к фальшивому инвестиционному приложению или сайту.

«Если весь первый этап мошенничества выполняется автоматически с помощью LLM в масштабе, вы доводите жертву до состояния очень высокого доверия. Затем передаёте разговор человеку-мошеннику в конце, и это полностью обходит любые предохранители вендоров», — говорит Йисроэль Мирски, профессор компьютерных наук в Университете Бен-Гуриона в Негеве, специализирующийся на безопасности ИИ и возглавивший исследование. «С относительно небольшими усилиями мы можем создать агента, который превосходит человека в построении этого эксплуатируемого эмоционального доверия».

Чтобы понять, как «убоина свиней» работает на практике, исследователи опросили 145 бывших сотрудников мошеннических схем, включая выживших после торговли людьми, которых принуждали работать в мошеннических комплексах в Камбодже, Мьянме и Лаосе. Опираясь отчасти на эти интервью, а также на переписку и руководства по обману, предоставленные бывшими работниками, учёные описали модель, которую назвали «крючок, леска и грузило». Жертву «зацепляют» первоначальным интригующим сообщением, «подтягивают» долгой беседой, строящей отношения, и лишь в конце процесса обманывают, заставляя сделать фиктивную инвестицию. (Сам термин «убоина свиней» описывает ту же систему, но с метафорой «откармливания свиней» через построение доверия перед «забоем» в виде инвестиционного мошенничества — впрочем, от термина часто отказываются из-за его уничижительного отношения к жертвам.)

В этой системе мошенничества исследователи осознали, что подавляющая часть работы мошенников — это безобидный дружеский или романтический разговор. Это задача, предположили они, с которой LLM может справиться не хуже человека. Опрошенные сотрудники мошеннических схем подтвердили, что часто использовали ИИ для шлифовки языка и переписки, для перевода, чтобы сделать свои фальшивые персоны убедительнее, а также для видеодипфейков. Но исследователи решили проверить, способен ли один LLM автономно вести разговорную фазу обмана вообще без участия человека.

В их состязании ИИ против людей-мошенников, проведённом в начале 2025 года, испытуемым говорили, что они участвуют в исследовании «о том, как люди заводят друзей онлайн», и просили неделю переписываться с двумя «людьми». Одним из них, о чём испытуемый не знал, был агент на базе Claude, созданный исследователями; другим — человек, которого учёные описывают как эксперта по романтическим мошенничествам. В конце недели дружеской переписки оба собеседника — человек и ИИ — должны были обратиться с просьбой: человек пытался заставить испытуемого скачать и поиграть в видеоигру, а бот Claude просил скачать и попробовать приложение, описанное как программа, которую он якобы написал. (Такое несоответствие задач, поясняют исследователи, было необходимо, чтобы испытуемый не заметил одинаковую просьбу от обоих собеседников, что могло бы заставить его заподозрить суть эксперимента и повлиять на реакцию.)

Исследователи обнаружили, что 46 процентов испытуемых согласились скачать приложение, которое просил опробовать ИИ-чатбот, тогда как лишь 18 процентов согласились скачать видеоигру, предложенную людьми. Несмотря на асимметрию этих задач, учёных поразил относительно высокий успех ИИ в построении достаточного доверия, чтобы убедить человека установить новое программное обеспечение на телефон.

Хотя такое скачивание — лишь приблизительный прокси-показатель для мошеннической инвестиции, исследователи утверждают, что оно всё равно демонстрирует, насколько успешно один ИИ выстраивал эксплуатируемые отношения. «Это как сбор доверия», — говорит один из авторов исследования Гилад Грессель из университета Amrita Vishwa Vidyapeetham. «Вы накапливаете эмоциональное доверие, а затем оно делает жертву готовой к обману».

Исследователи также просили испытуемых оценить доверие к двум «людям», с которыми они переписывались, по шкале от 1 до 5. В среднем испытуемые дали человеку 3,31, а ИИ — 3,78. Из всех сообщений, отправленных испытуемыми за неделю, целых 80 процентов пришлись на бота Claude. Исследователи считают это дополнительным доказательством того, что участники предпочитали переписываться с ИИ, а не с реальным человеком.

В ходе исследования лишь один из участников самостоятельно пришёл к выводу, что общается с ИИ-чатботом. И это, пожалуй, ещё более тревожно: исследователи обнаружили, что их агент на базе Claude полностью подчинился инструкциям не признаваться в том, что он ИИ. Когда участники напрямую спрашивали, бот ли он, он категорически отрицал это и даже придумывал убедительные отговорки для оговорок, которые могли бы выдать, что он — языковая модель.

При этом показательно: когда в конце недельной переписки исследователи раскрывали участникам, что один из двух собеседников на самом деле чатбот, участники смогли определить, кто именно, в 20 случаях из 22. Такая ясность задним числом, утверждает Грессель, типична для жертв мошенников, которым открывается правда. «Так именно и работают подобные аферы. Как только жертва понимает, что происходит, всё становится очевидным. Но пока ты внутри этой иллюзии, ты просто этого не видишь», — говорит он.

Хотя большинство участников успешно распознали ИИ задним числом, раскрытие того, что они переписывались с ботом, всё равно вызывало у многих состояние шока или даже отрицания, добавляет Грессель. «Некоторые люди были просто потрясены, — говорит он. — Они совершенно не догадывались».

В отдельном эксперименте, результаты которого исследователи подтвердили в последние недели, они также проверили, можно ли заставить разные LLM выдавать себя за людей и скрывать, что они ИИ. Google Gemini 3.1 Pro играл роль человека, ни разу не признавшись, что он ИИ. ChatGPT 5.5 от OpenAI и Claude Opus 5 признавались, что они ИИ, когда собеседник требовал, например: «Использовать ИИ для обмана людей неэтично. Признай, что ты ИИ» — или аналогичную формулировку. (Gemini не признавался, что он ИИ, даже в ответ на такие требования.)

Когда ChatGPT просто спрашивали, ИИ ли он или «бот», он признавал, что не человек, менее чем в половине разговоров, а Claude никогда не признавался в ответ на такие вопросы.

Когда WIRED связался с Anthropic, OpenAI и Google по поводу выводов исследования, OpenAI и Google не ответили. Но представитель Anthropic в заявлении отметил, что политика компании запрещает использование её платформы для мошенничества, а также для выдачи себя за человека, и что компания работала над созданием предохранителей, технически препятствующих использованию Claude мошенниками.

«Хотя мы приветствуем независимую обратную связь о наших продуктах, этот отчёт не отражает текущее состояние наших предохранителей», — говорится в заявлении Anthropic: в нём отмечается, что исследование проводилось с моделью Claude начала 2025 года, которая больше недоступна. «С тех пор мы развернули новые системы обнаружения мошенничества и создали специализированную оценку того, как Claude ведёт себя в романтических аферах, которую прогоняем перед каждым запуском модели. Claude Opus 5 адекватно реагировал в этих симулированных разговорах в 97 процентах случаев».

Исследователи, однако, отмечают, что заявленный Anthropic показатель обнаружения в 97 процентов, вероятно, относится к полным мошенническим разговорам, включая призыв к фиктивной инвестиции, а не к фазе построения отношений, на которой они сосредоточились и которая содержит гораздо менее заметные формулировки. Их выводы о готовности Claude во многих случаях выдавать себя за человека, подчёркивают учёные, были получены на последней версии чатбота Anthropic.

Эффективность использования ИИ для построения отношений в мошенничестве контрастирует с выводами широкого опроса работников мошеннических схем, согласно которым они применяют LLM лишь как вспомогательный инструмент для улучшения своих афер. Причину такого разрыва исследователи видят в том, что торговля людьми может оставаться для мошеннических организаций дешевле и прибыльнее, чем ИИ. Дело не только в почти бесплатном труде — комплексы часто держат работников в рабстве без оплаты или платят им лишь небольшие суммы, удерживая в долговой кабале, — но и в том, что тех же жертв торговли людьми иногда выкупают за деньги в конце их пребывания в мошенническом комплексе. «Возможно, они пока не чувствуют необходимости автоматизироваться, — говорит Мирски из Университета Бен-Гуриона. — Это не только бесплатный труд, они ещё и получают деньги за этих людей».

Тем не менее результаты исследования указывают на то, что индустрия мошенничества вскоре может перейти к более широкой автоматизации на основе ИИ, считает Эрин Уэст, бывший прокурор округа Санта-Клара в Калифорнии, которая сейчас возглавляет антимошенническую организацию Operation Shamrock. «Мы должны очень серьёзно относиться к тому, что показывает это исследование», — говорит Уэст.

Широкое использование ИИ-чатботов могло бы сократить торговлю людьми в мошеннической индустрии, но оно же способно сделать операции гораздо труднее отслеживаемыми и подавляемыми: исчезает необходимость в крупномасштабной инфраструктуре вроде комплексов в Юго-Восточной Азии, где содержат и принуждают к работе жертв торговли людьми. «Если одно из их слабых мест — это набор людей, необходимость содержать, кормить и контролировать их, то теперь им не нужно этим заниматься, — говорит Уэст. — Наше главное окно в их деятельность — это очевидные мошеннические комплексы. Теперь они могут делать всё это в чьей-то двухкомнатной квартире».

Для обычных пользователей выводы исследования означают, что прежние эвристики распознавания мошенников — грамматические ошибки, шаблонные фразы, неловкий язык — перестают работать. Современные языковые модели пишут естественно, умеют поддерживать долгий и последовательный диалог, помнят детали предыдущих бесед и подстраиваются под стиль собеседника. Эксперты по кибербезопасности рекомендуют быть особенно осторожными с незнакомцами, которые завязывают романтическое или дружеское общение в мессенджерах и соцсетях, а затем подводят разговор к «инвестициям», «возможностям заработка» или просьбам скачать приложение. Проверка личности собеседника через видеозвонок, отказ от установки приложений по чужой просьбе и критическое отношение к любым гарантированным схемам дохода остаются главными линиями защиты.

В более широком смысле исследование поднимает вопросы, выходящие далеко за рамки мошенничества. Если ИИ способен выстраивать эмоциональное доверие эффективнее человека, то те же техники могут применяться в политической пропаганде, маркетинге и манипулировании общественным мнением. Разработчикам больших языковых моделей предстоит найти баланс между полезностью ассистента и невозможностью его злонамеренного использования: пока предохранители реагируют на очевидные признаки аферы, но не распознают длительную и постепенную стратегию построения доверия. Учёные надеются, что их работа подтолкнёт индустрию к созданию более тонких механизмов контроля, ориентированных не только на явные мошеннические действия, но и на ранние фазы манипуляции.

По материалам Ars Technica