B2BPRO.KZ | Рекламное агентство в Алматы

Google выпустил инструкцию для Google-Agent: как не заблокировать ИИ-агента Google в CDN и файрволе сайта

Обложка: Пустите агента Google к заявке. Белая стена с синим проходом, через который проходит один шар, остальные остановились, настройка доступа Google-Agent к сайту

17 ноября 2026 года Google опубликовал техническое руководство «Allow Google-Agent traffic» о том, как пропустить Google-Agent на сайт. Если на сайте стоит CDN, файрвол или антибот-защита, они могут отсекать запросы ИИ-агента Google, который открывает страницы по просьбе пользователя. Google советует явно разрешить такой трафик в правилах защиты, предварительно проверив, что запрос действительно пришел от Google.

Типичная картина на сайтах наших клиентов в Казахстане выглядит так. Компания несколько лет назад подключила Cloudflare или похожий сервис, включила «строгий режим» против ботов после волны спама в формах, и с тех пор правило никто не пересматривал. Обычный посетитель этого не замечает. А вот автоматический помощник, который пытается по просьбе человека открыть каталог, сравнить цены или дойти до формы заявки, упирается в проверку «подтвердите, что вы не робот» и уходит ни с чем. Владелец сайта об этом не узнает: в аналитике такой визит просто не появится.

Что такое Google-Agent и чем он отличается от Googlebot

Google-Agent — это имя, под которым ходят по сайтам агенты, работающие на инфраструктуре Google и выполняющие действия по запросу пользователя. Так это сформулировано в самом руководстве. Агент открывает страницы, переходит по ссылкам и может совершать действия на сайте, потому что его об этом попросил конкретный человек.

Googlebot — это поисковый робот, который обходит сайт сам, по своему расписанию, и собирает страницы для индекса. С ним владельцы сайтов давно умеют работать: robots.txt, карта сайта, отчеты в Search Console. Google-Agent относится к другой группе. В справке Google он входит в список сборщиков, которые запускает пользователь (user-triggered fetchers), и там прямо сказано: поскольку запрос инициировал человек, такие сборщики, как правило, не учитывают правила robots.txt.

Признак Googlebot Google-Agent
Кто запускает Сам Google, для индексации Пользователь, который дал задачу агенту
Что делает Сканирует страницы для поиска Открывает страницы и выполняет действия по запросу
robots.txt Соблюдает Как правило, не учитывает (запрос сделал человек)
Список IP-адресов common-crawlers.json user-triggered-agents.json
Где управлять доступом robots.txt и метатеги Правила CDN, файрвола и антибот-сервиса

Отсюда главный практический вывод. Если вы хотите пустить или не пустить Google-Agent, robots.txt здесь почти ничего не решает. Решают настройки защиты сайта: та самая панель Cloudflare, модуль безопасности хостинга или плагин на WordPress, в которые обычно никто не заглядывает.

Что именно Google опубликовал 17 ноября

Новое руководство короткое и состоит из трех частей: как Google-Agent подписывает свои запросы, как разрешить его трафик в CDN или файрволе и что проверить, если агента все равно блокируют. Сам Google-Agent появился раньше, весной 2026 года о нем уже писали отраслевые издания. Новость в том, что у владельцев сайтов теперь есть официальная инструкция с конкретными правилами проверки.

По руководству каждый запрос Google-Agent узнается по двум признакам:

Третий признак пока экспериментальный. Google тестирует протокол Web Bot Auth с идентификатором https://agent.bot.goog: часть запросов агента подписывается по стандарту HTTP Message Signatures (RFC 9421). У таких запросов есть заголовок Signature-Agent со значением g=»https://agent.bot.goog» и заголовки Signature и Signature-Input. Публичные ключи для проверки подписи Google выложил по адресу https://agent.bot.goog/.well-known/http-message-signatures-directory. Подробности есть в документации Google по Web Bot Auth. В руководстве эта проверка дана с оговоркой «если подпись передана», то есть подписаны пока не все запросы.

Почему это касается сайтов компаний в Казахстане

Это касается любой компании, которая получает заявки с сайта. Агент приходит на сайт не просто прочитать текст, а выполнить задачу человека: найти услугу, проверить условия, записаться, оставить контакты. В руководстве Google отдельно перечисляет, что разрешение должно покрывать не только главную страницу, но и поиск по сайту, фильтры, переходы на карточки, добавление в корзину, бронирование и фоновые запросы к API.

Для бизнеса в Алматы, Астане или Шымкенте картина простая. Если сайт блокирует агента, то для части пользователей, которые ищут услуги через ассистентов Google, вашей компании просто нет. Агент не дошел до прайса, не открыл форму и вернулся к человеку с вариантами конкурентов. При этом рекламный бюджет и SEO работают как раньше, а потеря происходит на последнем шаге, на техническом уровне, где ее никто не ищет.

По нашему опыту на проектах B2BPRO.KZ, защиту сайта чаще всего настраивают один раз, в момент атаки или спама, и потом годами не трогают. Особенно часто мы видим три ситуации: включенная блокировка всех запросов из дата-центров, капча на каждой форме для всех посетителей и жесткий лимит запросов с одного IP. Каждая из них может мешать Google-Agent, и все три упомянуты в руководстве Google как частые причины блокировки.

Как проверить, блокирует ли ваш сайт Google-Agent

Быстрее всего это видно по журналам сервера и событиям защиты. Порядок такой:

  1. Откройте журнал событий в панели CDN или файрвола (в Cloudflare это раздел событий безопасности, у других провайдеров названия разные) и отфильтруйте записи по User-Agent, содержащему «Google-Agent».
  2. Посмотрите, какое действие применено к этим запросам: пропуск, проверка JavaScript, капча или блокировка. Все, кроме пропуска, для агента означает отказ.
  3. Если CDN нет, загляните в журнал доступа веб-сервера (access log) у хостинга и найдите те же записи. Коды ответа 403 и 429 говорят о блокировке или ограничении частоты.
  4. Сверьте IP-адреса из журнала с файлом user-triggered-agents.json. Строку User-Agent легко подделать, и Google прямо об этом предупреждает, поэтому без проверки IP запись в журнале ничего не доказывает.
  5. Проверьте плагины безопасности, если сайт на WordPress. Они часто ведут собственный журнал блокировок и ограничений, отдельный от журнала хостинга.

Если записей с Google-Agent нет совсем, это тоже информация. Возможно, агенты к вам пока не приходили. А возможно, запросы режутся еще до веб-сервера, на уровне CDN, и тогда смотреть нужно именно туда. Похожая логика работает и для других ИИ-роботов, об этом мы писали в материале как проверить, видят ли ИИ-краулеры ваш сайт.

Как разрешить Google-Agent в CDN и файрволе

Сначала посмотрите, не умеет ли ваш провайдер распознавать Google-Agent сам. Google пишет, что часть антибот-сервисов, CDN и файрволов уже умеют проверять такие запросы и пропускать их, а точные шаги нужно смотреть в документации конкретного провайдера. Если такая функция есть, включить ее надежнее, чем писать правила вручную: провайдер сам будет обновлять списки адресов.

Если автоматической проверки нет, Google предлагает собрать правило из трех условий:

  1. Заголовок User-Agent содержит Google-Agent.
  2. IP-адрес входит в диапазоны из user-triggered-agents.json.
  3. Если запрос подписан, подпись в заголовках Signature и Signature-Input проходит проверку для Signature-Agent g=»https://agent.bot.goog» по протоколу Web Bot Auth.

Для запросов, прошедших проверку, Google рекомендует пропускать проверки на ботов. Важно, что правило должно опираться на IP, а не только на строку User-Agent. Иначе любой спамер, подписавшийся как Google-Agent, получит доступ к формам без капчи, и защита, ради которой ее ставили, перестанет работать.

Почему агента блокируют даже после разрешения

Чаще всего причина в порядке правил. Руководство Google перечисляет шесть мест, где разрешение может не сработать, и их стоит пройти по списку:

  • Приоритет правил. Разрешающее правило должно срабатывать раньше, чем широкие блокировки облачных и серверных сетей (ASN), управляемые правила против ботов и политики, блокирующие целую категорию ИИ-агентов.
  • Интерактивные проверки. Правило должно отключать не только HTTP-блокировку, но и капчу, и JavaScript-проверку, включая отдельные виджеты капчи на форме поиска или заявки.
  • Действия внутри сайта. Разрешение должно касаться поиска, фильтров, карточек, корзины, бронирования и фоновых запросов XHR, GraphQL и поддоменов api.*.
  • Лимиты на один IP. Много пользователей Google-Agent ходят через общий пул адресов, поэтому жесткое ограничение частоты для одного IP будет срабатывать на легитимных запросах.
  • Обновление диапазонов. Правило на основе IP нужно синхронизировать со свежей версией user-triggered-agents.json, иначе через какое-то время оно перестанет совпадать.
  • Заголовки на прокси. Балансировщики и промежуточные прокси должны передавать исходный IP клиента, заголовок User-Agent и, для подписанных запросов, заголовки Signature, Signature-Input и Signature-Agent.

Последний пункт часто упускают на сайтах, где перед сервером стоит несколько слоев: CDN, потом балансировщик хостинга, потом сам сервер. Если промежуточное звено подменяет IP на свой, сервер видит не адрес Google, а адрес прокси, и проверка по списку не проходит. Такие истории мы регулярно разбираем, когда хостинг блокирует сайт за нагрузку и приходится выяснять, чей это трафик на самом деле.

Нужно ли вообще пускать ИИ-агентов на сайт

Для большинства коммерческих сайтов ответ да, если доступ дан только проверенным запросам. Агент приходит по поручению живого человека, у которого есть конкретная задача: найти поставщика, сравнить условия, записаться. Блокируя его, компания отказывается от этого клиента, а не от абстрактного робота.

Исключения тоже есть. Если на сайте закрытый личный кабинет, платный контент или формы, которые нельзя отправлять автоматически (например, заявки, которые сразу запускают дорогостоящую работу), правила можно сделать точечными. Пустите агента в каталог, описания услуг и контакты, а для отдельных действий оставьте подтверждение. Руководство Google не требует открывать все: оно объясняет, как не заблокировать легитимные запросы по ошибке.

Такое решение стоит принять осознанно и записать. Через полгода в компании сменится подрядчик или маркетолог, и без записи никто не вспомнит, почему конкретное правило в файрволе выглядит именно так.

Пример: как это выглядит на сайте сервисной компании

Возьмем условный пример, собранный из типичных ситуаций. Компания из Алматы занимается обслуживанием кондиционеров. Сайт на WordPress, перед ним Cloudflare, на форме заявки стоит капча. Два года назад после атаки ботов подрядчик включил блокировку всех запросов из сетей дата-центров и ограничил число обращений с одного IP до нескольких в минуту.

Пользователь просит ассистента Google найти сервис, который сможет приехать завтра, и оставить заявку. Агент открывает главную: она загружается, потому что для главной включено кэширование на стороне CDN. Дальше агент переходит в раздел цен, и запрос попадает под правило про дата-центры: именно широкие блокировки облачных и серверных сетей Google называет в руководстве одной из причин, по которым агент не проходит. Сайт отдает проверку JavaScript. Если агенту удалось пройти дальше, на форме его ждет капча. В обоих случаях задача пользователя не выполнена.

Что меняется после настройки по руководству Google. В Cloudflare добавлено правило: User-Agent содержит Google-Agent и IP входит в список из user-triggered-agents.json, действие «пропустить проверки». Правило стоит выше блокировки дата-центров. Для этих же адресов ослаблен лимит частоты. Капча на форме для проверенных запросов не показывается, а для всех остальных посетителей осталась на месте. Спам-защита работает как раньше, а легитимный агент доходит до формы.

Цифр по такому примеру мы не приводим: сколько заявок приходит через агентов, у каждой компании свое, и пока это небольшая доля трафика. Но на типичном сайте с одним CDN такая настройка обычно укладывается в пару часов работы, а ревизия старых правил заодно помогает найти ложные блокировки обычных посетителей, которые заходят через корпоративные VPN или мобильные сети с общими адресами.

Что сделать на этой неделе: короткий план

Начните с журналов, а не с правок. Последовательность, которую мы используем у себя:

  1. Выясните, какие слои защиты стоят перед сайтом: CDN, модуль безопасности хостинга, плагин на WordPress или модуль проактивной защиты на 1С-Битрикс.
  2. Выгрузите события за последние 7-14 дней по User-Agent с «Google-Agent» и проверьте IP по официальному списку.
  3. Если блокировки есть, проверьте, умеет ли ваш провайдер распознавать Google-Agent автоматически, и включите эту функцию.
  4. Если не умеет, создайте разрешающее правило по User-Agent и IP и поставьте его выше общих блокировок.
  5. Пройдите по списку из шести причин: капча на формах, лимиты на IP, API, прокси-заголовки.
  6. Назначьте ответственного за ежемесячную сверку диапазонов IP или переложите эту задачу на провайдера.

Если сайт делал подрядчик, которого уже нет, и непонятно, где именно стоят правила, разумно заказать технический аудит. В рамках SEO-продвижения сайта мы проверяем не только тексты и позиции, но и то, доходят ли до сайта поисковые роботы и ИИ-агенты. А если защита встроена в код сайта или в самописный модуль, правки делаются в рамках разработки и доработки сайтов.

Типичные ошибки при настройке доступа для Google-Agent

Самая опасная ошибка — разрешить доступ по одной строке User-Agent. Подделать ее может кто угодно, и Google отдельно предупреждает об этом в справке о сборщиках. Правило без проверки IP открывает формы для спама.

Вторая ошибка — пытаться управлять агентом через robots.txt. Запись «User-agent: Google-Agent / Disallow» не даст ожидаемого эффекта, потому что сборщики, запущенные пользователем, как правило, robots.txt не учитывают. Если вы хотите ограничить доступ, делайте это на уровне сервера или CDN.

Третья ошибка — отключить защиту целиком. Владелец видит, что агент блокируется, и выключает антибот-режим совсем. Через неделю в CRM приходят сотни спам-заявок, а сайт под нагрузкой начинает тормозить. Руководство Google как раз про обратное: разрешить проверенный трафик и сохранить остальные правила безопасности.

Четвертая ошибка — поставить правило один раз и забыть. Диапазоны адресов в user-triggered-agents.json могут меняться, а Web Bot Auth пока в стадии эксперимента. Через несколько месяцев статичный список IP в правиле может перестать совпадать с реальным трафиком.

Пятая ошибка — проверять только главную страницу. Агенту нужно дойти до цели, а цель обычно спрятана глубже: в форме заявки, корзине или фильтре каталога. Если фоновый запрос формы идет на отдельный адрес API с собственными правилами защиты, главная откроется, а заявка не уйдет.

Частые вопросы

Как узнать, заходил ли Google-Agent на мой сайт?

Найдите в журналах сервера или CDN записи, где в User-Agent есть строка «Google-Agent», и сверьте IP-адреса этих запросов с официальным файлом Google user-triggered-agents.json. Если адрес совпадает, это настоящий агент Google. Если не совпадает, запись поддельная и пускать такой трафик без проверок не нужно.

Можно ли закрыть сайт от Google-Agent через robots.txt?

Надежно закрыть не получится. Google относит Google-Agent к сборщикам, которые запускает пользователь, и пишет, что такие сборщики, как правило, не учитывают robots.txt, потому что запрос сделал человек. Ограничивать доступ агента нужно правилами веб-сервера, файрвола или CDN, а не записями в robots.txt.

Повлияет ли блокировка Google-Agent на позиции сайта в поиске?

Google не связывает в руководстве доступ Google-Agent с ранжированием, индексацию выполняет Googlebot. Но блокировка агента означает, что пользователь, поручивший ассистенту найти услугу или оставить заявку, не получит результата на вашем сайте. Это потеря клиентов, даже если позиции в выдаче не изменятся.

Безопасно ли разрешать Google-Agent обходить капчу?

Безопасно, если разрешение выдается только проверенным запросам: строка User-Agent плюс IP из официального списка Google, а для подписанных запросов еще и проверка подписи Web Bot Auth. Правило только по User-Agent небезопасно, его легко подделать. Остальные правила защиты сайта при этом можно и нужно оставить.

Что делать, если сайт на WordPress и стоит плагин безопасности?

Откройте журнал блокировок плагина и проверьте, нет ли там запросов с Google-Agent. Затем посмотрите, есть ли в настройках белый список по IP или по проверенным роботам, и добавьте туда диапазоны из user-triggered-agents.json. Если плагин работает вместе с CDN, проверьте оба слоя, иначе блокировка останется в одном из них.

Прокрутить вверх