30 октября 2026 года Google сообщил, что в 2027 году начнет учитывать общий токен __usage_ai-training в robots.txt. Одна группа правил сможет запретить обучение ИИ сразу нескольким поставщикам. На позиции в Поиске токен не влияет, но у Google вместе с обучением он отключит и цитирование в Gemini, поэтому ставить его без расчета рано.
Анонс вышел в блоге Google Search Central за подписью Джона Мюллера. Для владельца сайта в Казахстане срочных работ пока нет: сигнал заработает в следующем году. Зато уже сейчас стоит решить, какие разделы сайта вы готовы отдавать моделям, а какие нет, и проверить, не закрыты ли важные страницы по ошибке. Обычно такие вопросы всплывают при технической проверке сайта, и они касаются не только издателей: сайт услуг тоже выбирает, хочет ли он появляться в ответах нейросетей.
Что именно объявил Google 30 октября?
Google пообещал поддержать единый сигнал в robots.txt, которым сайт выражает отношение к обучению ИИ сразу для всех участвующих компаний. До сих пор такие правила приходилось писать отдельно под каждого разработчика моделей.
Robots.txt — это текстовый файл в корне сайта с правилами для автоматических обходчиков. Новый механизм использует тот же файл и те же директивы, поэтому отдельный инструмент не понадобится.
В анонсе четыре важных положения:
- если сайт запретил обучение через общий токен и не указал Google-Extended отдельно, Google прочитает это как запрет Google-Extended;
- уже существующие правила для конкретных компаний продолжат работать рядом с новым сигналом;
- сайты, которые явно разрешили Google-Extended, могут появляться в ответах приложений Gemini и получать оттуда переходы;
- поддержку Google планирует ввести в 2027 году, а в документации о краулерах Google срок уточнен: начало 2027 года.
Определение обучения пришло из рабочей группы AIPREF при IETF, международной организации, которая разрабатывает интернет-стандарты. Google прямо называет свое предложение черновым и обещает дорабатывать его вместе с другими участниками.
Как выглядит новая запись в robots.txt?
Запись выглядит как обычная группа robots.txt, только вместо имени робота в ней стоит токен __usage_ai-training. Пример из черновика IETF о сигнале обучения ИИ:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Эта группа говорит: материалы сайта для обучения не использовать, кроме раздела /press-kit/, который разрешен. Новых директив черновик не вводит, грамматика файла остается прежней. Значит, разрешать и запрещать можно по разделам, как и для обычных роботов.
Обучение ИИ черновик определяет узко: использование материала для изменения обучаемых параметров генеративной модели. Показ страницы в выдаче и переход пользователя по ссылке под такое определение не подходят.
Есть важная деталь: группа User-Agent: * на токен не распространяется. Даже если у вас в файле стоит Disallow: /private/ для всех роботов, для сигнала об обучении это ничего не значит. Правило нужно писать отдельной группой.
Статус документа тоже стоит учитывать. Это индивидуальный черновик версии 00 от 30 октября 2026 года, его единственный автор указан от Anthropic. В самом тексте сказано, что IETF его не утверждал и формального статуса в процессе стандартизации у него нет, а срок действия черновика истекает 3 мая 2027 года. До утверждения детали могут измениться, поэтому правила стоит проверять по актуальной документации в момент внедрения.
Чем новый токен отличается от Google-Extended и настройки в Search Console?
Новый токен управляет только предпочтением об обучении и не влияет на обычную индексацию. Путаница здесь дорого обходится, потому что у разных механизмов разные последствия. Сводим их в одну таблицу:
| Механизм | Что контролирует | Влияние на обычный Поиск |
|---|---|---|
__usage_ai-training |
Общее предпочтение об обучении моделей, поддержка Google с начала 2027 года | Заявленного влияния нет |
| Google-Extended | Обучение будущих моделей Gemini и grounding в продуктах Gemini и Vertex AI | По документации Google не влияет и не служит сигналом ранжирования |
| Настройка генеративного ИИ в Search Console | AI Overviews, AI Mode и генеративные функции Discover | По заявлению Google не служит сигналом ранжирования |
| Запрет для Googlebot | Сканирование страницы для Поиска | Прямое: страница теряет возможность нормально показываться в выдаче |
| YandexAdditional | Использование содержимого в быстрых ответах YandexGPT и ответах Поиска с Алисой | Робот не делает запросов для индексации |
Grounding — это подкрепление ответа нейросети найденными в интернете источниками. Отсюда главный подвох анонса: общий сигнал задуман как сигнал об обучении, но у Google он приравнивается к запрету Google-Extended. А этот токен, судя по разбору PPC Land, охватывает и обучение, и grounding в Gemini. Сайт, который запретил обучение общим токеном, может вместе с этим выпасть из ответов Gemini со ссылкой на источник. Отдельной настройки «цитируйте, но не обучайтесь» у Google на сегодня, по тому же разбору, нет.
Управление показом в AI Overviews и AI Mode находится в другом месте. Как оно устроено, мы описали в статье об отключении сайта от AI Overviews. Запрет обучения не убирает сайт из AI Overviews, а отключение AI Overviews не запрещает обучение.
Кто еще поддержал сигнал и чьей поддержки пока нет?
По данным PPC Land, 30 октября о поддержке заявили Google, Microsoft, OpenAI и Anthropic, но сроки у всех разные. Первоисточник мы проверили только у Google, остальные даты приводим по этому обзору.
| Компания | Заявленный срок | Что учесть |
|---|---|---|
| Начало 2027 года | Токен приравнивается к запрету Google-Extended, если тот не указан явно | |
| Microsoft | 1 февраля 2027 года | Сигнал не отключает grounding, для него нужны настройки на уровне страниц; с 1 марта 2027 года NoArchive и NoCache перестанут читаться как предпочтения для ИИ |
| OpenAI | Ближайшие месяцы, без даты | Существующие настройки через robots.txt сохраняются |
| Anthropic | Без даты | Автор черновика пишет, что реализация уже начата |
Meta, Amazon и Apple в этом обзоре среди обещавших не названы. Про Яндекс в анонсе ничего нет, а на странице о роботах Яндекса мы токен не нашли. Для Казахстана это значит простую вещь: сигнал не закрывает весь поиск, которым пользуются ваши клиенты. Яндекс управляется отдельно, через собственные правила для робота YandexAdditional.
Механизма принуждения в черновике нет, а стандарт robots.txt RFC 9309 прямо указывает, что эти правила не являются авторизацией доступа. Крупные компании обещают эту просьбу выполнять, но от тех, кто обещаний не давал, она не защищает.
Стоит ли компании в Казахстане запрещать обучение ИИ?
Большинству сайтов услуг запрещать обучение общим токеном невыгодно, если они хотят получать упоминания и переходы из ответов Gemini. Решение зависит от того, на чем сайт зарабатывает.
На проектах B2BPRO.KZ мы чаще всего видим обратную проблему: сайт компании и так почти не попадает в ответы ИИ, потому что страницы закрыты случайным правилом или в них нет прямых ответов на вопросы. Запрещать что-то такому сайту незачем, сначала его нужно сделать видимым. О том, как устроена эта работа, мы писали в материале про видимость в ответах ИИ.
Ориентиры по типам сайтов ниже. Это наша рекомендация, у Google таких правил нет:
| Тип сайта | Разумный вариант | Почему |
|---|---|---|
| Услуги, B2B, производство | Обучение не запрещать, явно оставить Google-Extended разрешенным | Ценность сайта в том, чтобы компанию нашли и упомянули |
| Интернет-магазин | Каталог открыт, закрыть авторские обзоры и фото, если они дорого обошлись | Карточки товара полезно показывать везде, собственный контент ценнее |
| Платные курсы, отчеты, база знаний | Запретить обучение для платных разделов, публичные оставить | Содержимое и есть продукт |
| СМИ и контентные проекты | Считать по данным, возможен полный запрет | Доход зависит от просмотров страниц |
Для иллюстрации возьмем условный учебный центр в Алматы. Страницы курсов, расписание и цены ему выгодно держать открытыми, чтобы нейросеть могла назвать его в ответе на вопрос о курсах. Материалы в личном кабинете и так недоступны без входа, а открытые методички можно закрыть отдельным правилом. Запись получается короткой и точечной, без запрета на весь сайт:
User-Agent: __usage_ai-training
Disallow: /metodichki/Что сделать прямо сейчас?
Сейчас достаточно провести инвентаризацию robots.txt и записать решение, а токен добавить ближе к старту поддержки. Порядок такой:
- Откройте
вашсайт.kz/robots.txtи выпишите все группы и все упомянутые ИИ-боты, например GPTBot, ClaudeBot, Google-Extended, YandexAdditional. - Узнайте, кто и когда их добавил. Часто такие строки появляются из плагина защиты или готового шаблона, и владелец о них не знает.
- Составьте список разделов сайта и разделите их на три группы: открыто для всех, открыто для показа в ответах, закрыто для обучения.
- Проверьте, видят ли ИИ-системы ваш сайт. Порядок проверки описан в статье про GPTBot, ClaudeBot и PerplexityBot.
- Если решили оставаться в ответах Gemini, добавьте явное разрешение для Google-Extended. По логике анонса явное указание этого токена имеет приоритет над общим сигналом.
- Запланируйте на начало 2027 года сверку с документацией Google и Microsoft: срок, точное имя токена, новые правила.
- После любой правки сравнивайте показы и заявки за несколько недель: вывод по одному дню ничего не докажет.
Если своего специалиста нет, такую проверку можно заказать вместе с общим аудитом: SEO-продвижение сайта у нас начинается как раз с индексации, robots.txt и доступности страниц для роботов.
Как совместить новый токен с правилами, которые уже есть в файле?
Новую запись добавляют отдельной группой рядом с существующими, старые правила при этом удалять не нужно. Для сайта услуг, который закрывает один раздел от обучения и хочет оставаться в ответах Gemini, файл может выглядеть так:
User-Agent: *
Disallow: /wp-admin/
User-Agent: Google-Extended
Allow: /
User-Agent: __usage_ai-training
Disallow: /metodichki/Здесь три независимых решения. Первая группа работает для обычных роботов и к обучению отношения не имеет. Вторая явно разрешает Google-Extended, поэтому общий сигнал не будет прочитан Google как запрет. Третья выражает предпочтение для всех компаний, которые будут его учитывать. Это иллюстрация: пути и набор групп зависят от вашего сайта, а сверять запись стоит с документацией, актуальной на момент внедрения.
У отдельных групп есть особенность, о которой часто забывают. По RFC 9309 робот сначала ищет группу со своим именем и только при ее отсутствии обращается к группе со звездочкой. Предположим, вы добавили строки User-Agent: GPTBot и Disallow: /metodichki/. Тогда GPTBot следует только этой группе и не обязан соблюдать запреты из общей группы, например закрытие служебных разделов. Если такие запреты нужны и ему, их приходится повторять.
Отдельно стоит решить, нужны ли вам теперь именные группы для ИИ-ботов. Мы бы их не удаляли до того, как компании реально начнут учитывать общий сигнал: сейчас именные правила остаются единственным рабочим способом выразить запрет. Google подтверждает, что его собственный токен продолжит действовать рядом с новым, а по обзору PPC Land существующие настройки сохраняет и OpenAI. Когда поддержка появится у всех нужных вам компаний, файл можно будет упростить.
Заодно договоритесь, кто в компании отвечает за этот файл. На практике его правят разработчик, SEO-подрядчик и плагины, и часто никто не помнит, зачем появилась та или иная строка. Короткие комментарии с датой и причиной решают проблему: строки, начинающиеся со знака #, роботы не считают правилами. Запись вроде # закрыто от обучения по решению директора через год сэкономит много времени.
Какие ошибки сломают сайт при добавлении токена?
Самая опасная ошибка — поставить токен в одну группу с поисковым роботом. По RFC 9309 группа состоит из одной или нескольких строк user-agent, за которыми идут правила, и эти правила относятся ко всем перечисленным. Вот так делать нельзя:
User-Agent: __usage_ai-training
User-Agent: Googlebot
Disallow: /Такая запись закрывает сайт от Googlebot целиком. Новую группу отделяйте от соседних и проверяйте файл после сохранения. Типичные ошибки при работе с robots.txt мы разбирали в статье о robots.txt и sitemap.xml.
Остальные ошибки встречаются реже, но тоже дорого стоят:
- Токен поставили на весь сайт, не посмотрев, что у Google он тянет за собой отказ от цитирования в Gemini.
- Группа
User-Agent: *на токен не действует, поэтому старый общий запрет ничего не сообщает об обучении. - Токен приняли за закрытие доступа. Он только выражает предпочтение об использовании материала, поэтому для закрытых материалов нужен вход с паролем.
- В имени токена опечатка. В его начале два подчеркивания. Сравнение нечувствительно к регистру, но пропущенный символ превращает запись в группу для несуществующего робота, и никакой ошибки вы не увидите.
- Про Яндекс забыли. Часть трафика в Казахстане идет оттуда, а для его ответов действует отдельное правило.
- Запись не пересмотрели после выхода финальной версии. Черновик еще не утвержден, и детали могут поменяться.
Как внести правило на WordPress и 1С-Битрикс?
На обеих платформах правило вносится в тот robots.txt, который реально отдает сайт, поэтому сначала откройте файл в браузере и убедитесь, откуда он берется. На WordPress содержимое по умолчанию формирует функция do_robots, а изменить его могут плагины через фильтр robots_txt. Если в корне сайта лежит настоящий файл, веб-сервер обычно отдает именно его, и правки в SEO-плагине можно просто не увидеть в результате.
На 1С-Битрикс и на самописных сайтах проверьте файл в корне и правила сервера. На сайтах с несколькими доменами или языковыми версиями файл у каждого хоста свой, запись придется повторить для каждого. После переноса сайта часто обнаруживается тестовый robots.txt с полным запретом, это стоит проверить заодно. Если при проверке всплывают проблемы со структурой сайта или переносом, их решают уже на уровне платформы, и тут может пригодиться разработка сайтов под ключ.
Отказ от обучения скоро можно будет выразить одной записью, и поэтому его легко поставить, не посчитав последствий. Мы советуем сначала записать решение по разделам сайта, а сам токен добавлять уже после того, как Google и Microsoft начнут его учитывать.
Частые вопросы
Упадут ли позиции сайта в Google, если запретить обучение ИИ?
Нет, заявленного влияния на Поиск у такого запрета нет. В документации Google сказано, что Google-Extended не влияет на попадание сайта в Поиск и не служит сигналом ранжирования, а общий токен Google приравнивает именно к этому запрету. Позиции могут пострадать только при ошибке в файле, например если токен оказался в одной группе с Googlebot.
Когда начнет работать токен __usage_ai-training?
Google обещает поддержку в начале 2027 года, такой срок указан в его документации о краулерах. По обзору PPC Land, Microsoft называет 1 февраля 2027 года, OpenAI говорит о ближайших месяцах без даты, а Anthropic сообщает о начатой реализации. Сам черновик пока не утвержден, поэтому перед внедрением стоит проверить актуальные условия.
Можно ли запретить обучение ИИ, но остаться в ответах Gemini?
Отдельной настройки для этого у Google, по разбору PPC Land, сейчас нет. Google-Extended охватывает и обучение, и grounding в Gemini, а общий токен Google читает как запрет Google-Extended. Если для компании важны ссылки из Gemini, разумнее оставить Google-Extended разрешенным и не закрывать обучение на всем сайте.
Защитит ли robots.txt контент от копирования нейросетями?
Нет, полной защиты он не дает. Стандарт RFC 9309 прямо говорит, что правила robots.txt не являются авторизацией доступа, а механизма принуждения в черновике нет. Сигнал работает только для компаний, которые обещали его соблюдать. Платные материалы надежнее держать за входом по паролю, а robots.txt использовать как дополнительное заявление о ваших условиях.
Нужно ли что-то менять в robots.txt уже сейчас?
Срочно менять ничего не нужно, потому что поддержка у Google начнется только в 2027 году. Сейчас полезно проверить файл, найти забытые правила для ИИ-ботов, решить, какие разделы вы готовы открывать, и записать это решение. Сам токен можно добавить заранее, но делать это стоит точечно и только после сверки с актуальной документацией.