📊 Cloudflare заставляет Google и Bing разделить поиск и сбор данных С 15 сентября 2026 Cloudflare вводит три категории для ботов — Search, Agent и Training — с независимыми режимами доступа. Принципиальное новшество: если владелец сайта запретит Training, блокировка распространится и на «смешанных» роботов вроде Googlebot, Bingbot и Applebot, которые одновременно индексируют страницы и собирают материал для моделей. На 11 июля 2026 года через Cloudflare проходило примерно 23,6% сайтов, так что правило из частной настройки превращается в отраслевой стандарт де-факто. Фактически это маршрутизация по назначению на уровне обратного прокси: запрос обязан объяснить не только источник, но и назначение — пришёл индексировать, действовать от имени пользователя или пополнять обучающую выборку. Решение опирается на уже работающие механизмы Web Bot Auth и Content-Signal, а в перспективе будет подкреплено оплатой через Pay Per Crawl. Cloudflare не изобрела фильтрацию ботов, но её доля рынка позволяет техническим рычагом повлиять на всю экосистему поиска и искусственного интеллекта. Компания открыто давит на крупных игроков, отказывавшихся добровольно отделять классический поиск от сбора данных для генеративных ответов. → Три категории: Search (индексация), Agent (действия по поручению пользователя), Training (сбор для обучения) → С 15 сентября для новых доменов Agent и Training по умолчанию блокируются на страницах с рекламой → Запрет Training автоматически закрывает доступ Googlebot, Bingbot и Applebot, даже если визит заявлен как поисковый → Cloudflare уже применяет Web Bot Auth с подписью Ed25519 для криптографической проверки операторов ботов Это не просто обновление Bot Management. Это перенос политической функции на инфраструктурного посредника: прокси-сервер решает, кто «честный» робот, и технически выкручивает руки платформам. Вопрос не в том, заработает ли схема, а в том, станет ли Cloudflare точкой монопольного сбора за проход по данным, которые ей не принадлежат. По данным Habr Infosec #Cloudflare #WAF #AI #Google #боты