По сообщению The Verge, OpenAI, Google, Microsoft и Anthropic объявили о поддержке нового стандарта, который позволит издателям отказываться от скрейпинга их контента искусственным интеллектом. Этот контроль позволит издателям применять свои предпочтения по обучению ИИ сразу для нескольких компаний, вместо того чтобы настраивать их индивидуально. Предложенный сигнал «политики токена» был разработан Кевином Келли, техническим руководителем по стандартам в Anthropic, в рамках Рабочей группы по интернет-инженерии (IETF). Он будет размещен в файле robots.txt на сайте, который уже давно указывает, какие веб-краулеры могут или не могут скрейпить сайт — для индексации поиска, архивирования или обучения ИИ. В настоящее время сайтам необходимо отдельно указывать свои предпочтения по обучению ИИ каждой компании. Это объявление произошло на фоне продолжающегося наплыва ИИ-краулеров, скрейпящих контент с сайтов и использующих его для обучения ИИ-моделей. Некоторые компании и организации пытались бороться с несанкционированным скрейпингом, предоставляя издателям возможность взимать плату с краулеров, посещающих их сайты, а Cloudflare по умолчанию блокирует ИИ-краулеров. OpenAI, Google, Microsoft и Anthropic заявили, что ограничат доступ своих ИИ-краулеров к сайту, если они встретят общий токен. Однако Microsoft предложит более детализированные настройки, которые позволят издателям отказаться от обучения ИИ или от привязки ИИ к проверенному источнику информации, чтобы уменьшить количество «галлюцинаций» модели. Microsoft отмечает, что сайты все равно будут отображаться в результатах поиска Bing независимо от их предпочтений. Anthropic уже приняла этот сигнал, в то время как Google и Microsoft планируют поддержать его в следующем году. OpenAI заявила, что внедрит его в ближайшие месяцы. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.