Крупнейшие ИИ-имена поддержали новый способ отказа от скрейпинга
OpenAI, Google, Microsoft и Anthropic заявили, что примут новый стандарт, который издатели могут использовать для отказа от скрейпинга ИИ, как ранее сообщил Search Engine Roundtable. С помощью этого контроля издатели смогут применять свои предпочтения по обучению ИИ сразу к нескольким ИИ-компаниям, вместо настройки отдельно для каждой.
Общий сигнал «policy token» предложен Кевином Келли, техническим руководителем стандартов в Anthropic, в рамках Internet Engineering Task Force (IETF). Он разместится в файле robots.txt сайта, который давно сигнализирует, какие веб-краулеры могут и не могут скрейпить сайт — для индексации в поиске, архивирования или обучения ИИ. Сейчас сайты должны сигнализировать свои предпочтения по обучению ИИ отдельно каждой ИИ-компании.
Анонс приходит, пока издатели борются с продолжающимся притоком ИИ-краулеров, скрейпящих их сайты и кормящих их контент в ИИ-модели. Некоторые компании и организации пытались бороться с несанкционированным скрейпингом: стандарт Really Simple Licensing (RSL) даёт издателям возможность взимать плату с краулеров, посещающих их сайты, а Cloudflare блокирует ИИ-краулеры по умолчанию.
OpenAI, Google, Microsoft и Anthropic говорят, что ограничат свои ИИ-краулеры от доступа к сайту, если встретят общий токен. Глава коммуникаций Meta Энди Стоун также сигнализировал поддержку нового параметра, но не говорит, будет ли компания его соблюдать. «Мы верим, что создание общего сигнала, передающего такие предпочтения сразу нескольким провайдерам, — важный шаг, — говорит Стоун. — И мы с нетерпением ждём работы с другими ИИ-компаниями над стандартами и их внедрением в отрасли».
Microsoft говорит, что предложит гранулярные контроли, дающие издателям возможность отказаться от обучения ИИ или ИИ-основания — процесса указания ИИ-модели на проверенный источник информации для снижения галлюцинаций. Microsoft отмечает, что сайты всё равно будут появляться в результатах поиска Bing независимо от их предпочтений. Google ранее внедрила похожие контроли, позволяющие сайтам управлять тем, появляется ли их контент в ИИ-поисковых функциях или используется для обучения ИИ, без влияния на видимость в поиске.
Хотя Anthropic уже приняла сигнал, Google и Microsoft планируют поддержать его в следующем году. OpenAI говорит, что внедрит его «в ближайшие месяцы».
