Сайт не индексируется в Google в трёх случаях: робот не может до него добраться (закрыто в robots.txt, сервер отвечает ошибкой, нужен пароль), сама страница запрещает индексацию тегом noindex, либо Google страницу увидел, но счёл её дублем или малополезной. Какой именно случай ваш, показывает отчёт «Индексирование страниц» в Google Search Console.
Типичная картина выглядит так. Компания запустила новый сайт или переехала на другую CMS, прошёл месяц, а в Google по запросу site:ваш-домен.kz пусто или страниц в разы меньше, чем на самом деле. Менеджеры говорят «Google нас не любит», подрядчик просит ещё подождать. Чаще всего дело в конкретной настройке, которую можно найти и исправить за один рабочий день.
Как понять, что сайт именно не в индексе, а просто низко в выдаче?
Страница не проиндексирована, если Google не знает о ней или решил не хранить её в своей базе, и в этом случае она не появится в выдаче ни по одному запросу. Низкие позиции означают другое: страница в индексе, но ранжируется глубоко. Лечатся эти проблемы по-разному, поэтому начинать нужно с различия.
Проверка занимает пять минут и состоит из трёх шагов:
- Введите в Google запрос site:b2bpro.kz, подставив свой домен. Если результатов нет вообще, проблема системная. Если страниц меньше ожидаемого, смотрим, каких именно не хватает.
- Откройте Google Search Console и вставьте адрес конкретной страницы в строку «Проверка URL» вверху. Инструмент покажет, есть ли страница в индексе, когда её сканировали и какой канонический адрес выбрал Google.
- Перейдите в отчёт «Индексирование страниц» (раздел «Индексирование» в левом меню). Там видно, сколько страниц в индексе и по каким причинам остальные в него не попали.
Если сайт не подтверждён в Search Console, сделайте это первым делом: без отчёта вы будете гадать. Подтверждение занимает несколько минут через DNS-запись или файл на хостинге. Оператор site: даёт только примерную картину, а полные данные есть именно в Search Console. Подробнее о работе инструмента проверки URL написано в справке Search Console об инструменте проверки URL.
Что означают статусы в отчёте «Индексирование страниц»?
Каждый статус в отчёте называет конкретную причину, по которой страница не попала в индекс, и от формулировки зависит, что чинить. Таблица ниже собирает самые частые статусы и действия по ним. Описания основаны на справке Google по отчёту об индексировании страниц.
| Статус в отчёте | Что это значит | Что делать |
|---|---|---|
| Заблокировано в файле robots.txt | Правило в robots.txt запретило роботу открыть страницу | Убрать правило. Если закрыть страницу от выдачи нужно намеренно, использовать noindex |
| Исключено тегом noindex | Google нашёл директиву noindex и не стал индексировать страницу | Удалить тег или HTTP-заголовок, если страница должна быть в поиске |
| Просканировано, но пока не проиндексировано | Google страницу открыл, но в индекс не добавил, возможно добавит позже | Проверить качество, уникальность и внутренние ссылки |
| Обнаружено, но пока не проиндексировано | Google знает адрес, но не сканировал его | Дать ссылки на страницу, проверить скорость и нагрузку на сервер |
| Альтернативная страница с корректным тегом canonical | Страница указывает на другой адрес как на основной | Убедиться, что canonical стоит осознанно |
| Soft 404 | Страница выглядит как «не найдено», но сервер отвечает кодом 200 | Для пустых страниц отдавать настоящий 404, для живых наполнить контентом |
| Ошибка сервера (5xx) | Сервер ответил ошибкой при обращении робота | Проверить хостинг, логи и нагрузку |
Названия отчётов и статусов Google время от времени переименовывает, поэтому ориентируйтесь на смысл. Главное правило: сначала разберите статус с самым большим числом страниц среди тех, что должны быть в поиске. Служебные адреса, фильтры и страницы поиска по сайту в индексе обычно не нужны, и статус «исключено» для них нормален.
Закрыт ли сайт в robots.txt или тегом noindex?
Это самая частая причина полного отсутствия сайта в Google после запуска: разработчик закрыл сайт на время работы и забыл открыть. Если у вас в robots.txt строка Disallow: / для всех роботов, Google не сможет сканировать ни одну страницу.
Откройте адрес ваш-домен.kz/robots.txt в браузере и прочитайте файл целиком. Нас интересуют строки, которые начинаются с User-agent: * и содержат Disallow: / без дальнейшего пути. Такая запись закрывает весь сайт. Разбор типичных ошибок в этом файле мы выложили в отдельной статье: ошибки robots.txt и sitemap.xml.
Директива noindex устроена иначе. Noindex — это инструкция поисковику не добавлять страницу в индекс, и её можно задать двумя способами: метатегом <meta name="robots" content="noindex"> в разделе head или HTTP-заголовком X-Robots-Tag со значением noindex. Оба способа описаны в документации Google о блокировке индексирования.
Здесь есть ловушка, которую мы регулярно видим на проектах B2BPRO.KZ. Чтобы noindex сработал, страница не должна быть закрыта в robots.txt: если робот не может её открыть, он никогда не увидит директиву. Поэтому закрывать страницу сразу двумя способами бессмысленно, а иногда вредно. Если вы хотите убрать страницу из выдачи, оставьте её доступной для робота и поставьте noindex. Если хотите, чтобы она попала в индекс, уберите оба запрета.
Отдельно проверьте HTTP-заголовки. Бывает, что в коде страницы noindex нет, но его добавляет сервер или плагин безопасности. Увидеть заголовок можно в блоке «Проверка URL» в Search Console или во вкладке Network инструментов разработчика в браузере.
Как проверить настройки индексации в WordPress и 1С-Битрикс?
В WordPress самый частый виновник: одна галочка. В разделе «Настройки», подраздел «Чтение», есть пункт «Попросить поисковые системы не индексировать сайт». Её включают на время разработки, а на запуске забывают снять. При включённой галочке WordPress добавляет на все страницы директиву noindex. Если сайт на WordPress не индексируется, проверьте этот пункт первым.
Второй источник проблем в WordPress: SEO-плагины. В Yoast SEO и аналогичных плагинах есть настройки видимости для отдельных типов записей и таксономий. После переезда или обновления эти настройки иногда сбрасываются, и страницы целой рубрики получают noindex. Проверяйте не только главную, но и по одной странице каждого типа: статью, категорию, карточку услуги.
На 1С-Битрикс основная точка проверки: файл robots.txt в корне сайта и настройки мета-тегов для разделов и элементов инфоблоков. Если сайт делали на тестовом домене, а потом переносили, правила закрытия часто переезжают вместе с файлами. Тот же принцип относится и к сайтам на любой другой CMS: сравните боевой robots.txt с тем, что должно быть, и откройте код главной страницы в режиме просмотра исходного текста.
Если сайт делали на заказ и вы не уверены, где лежат такие настройки, их найдёт разработчик за полчаса. Мы делаем такие проверки в рамках разработки и доработки сайтов под ключ, а также как первый этап любого SEO-аудита.
Отдельно проверьте карту сайта. Файл sitemap.xml помогает роботу находить адреса, но работает только как подсказка: если в нём лежат закрытые noindex страницы, редиректы или адреса с ошибками 404, Google получает противоречивые сигналы. В карте должны быть только те страницы, которые вы хотите видеть в поиске, и каждая должна отвечать кодом 200. Ссылку на карту удобно указать в robots.txt и дополнительно отправить в Search Console.
Ещё одна частая ситуация возникает на сайтах, где основное содержимое подгружается скриптами. Робот может открыть страницу, но увидеть лишь пустой каркас, и тогда в отчёте появляется «просканировано, но не проиндексировано». Откройте страницу в «Проверке URL», посмотрите на отрисованную версию и сравните с тем, что видит посетитель. Если ключевой текст в ней отсутствует, разработчику нужно перенести его в исходный код страницы.
Что делать, если страницы «Просканированы, но пока не проиндексированы»?
Этот статус означает, что Google открыл страницу и прочитал её, но не добавил в индекс. Справка Google подчёркивает: страница может быть проиндексирована позже, и повторно отправлять её на сканирование не требуется. Для нового сайта несколько таких страниц в первые недели нормальны.
Тревожный сценарий другой: статус держится месяцами у страниц, на которые вы рассчитываете. Тогда Google, как правило, не видит в них достаточной ценности. По нашему опыту, причины обычно такие:
- Текст короткий, шаблонный или почти повторяет другие страницы сайта. Типичный пример: десятки карточек услуг для разных городов с заменой одного слова.
- На страницу ведёт одна-две внутренние ссылки из глубины сайта, и по структуре видно, что она не важна.
- Страница плохо открывается: основное содержимое подгружается скриптом, а без него видна пустая оболочка.
- Сайт в целом новый, и у Google пока мало сигналов доверия.
Лечится это содержательно. Дополните текст конкретикой, которой нет на соседних страницах: цифрами, примерами, ответами на вопросы клиентов. Добавьте внутренние ссылки с сильных страниц сайта, например с главной и из разделов услуг. Объедините почти одинаковые страницы в одну. Если на сайте сотни слабых страниц, а полезных десятки, иногда разумнее сократить количество, чем наращивать его.
Почему страницы «Обнаружены, но пока не проиндексированы»?
Этот статус означает, что Google знает адрес страницы, но ещё не открывал её. По справке Google, причиной может быть ожидаемая перегрузка сайта: робот отложил сканирование, чтобы не нагружать сервер. Для небольшого сайта это обычно сигнал о медленном или нестабильном хостинге.
Если страниц в этом статусе много, проверьте три вещи. Первая: время ответа сервера и частота ошибок в логах хостинга. Вторая: нет ли на сайте бесконечных генерируемых адресов (фильтры, сортировки, параметры), которые отнимают у робота время. Третья: есть ли на нужные страницы внутренние ссылки. Адрес, который есть только в карте сайта, робот может откладывать годами.
Для крупных интернет-магазинов тема бюджета сканирования особенно важна. Если вы продвигаете каталог на тысячи позиций, мы разбирали такие нюансы в статье про технические особенности SEO интернет-магазина на 1С-Битрикс.
Как дубли, canonical и редиректы мешают индексации?
Google индексирует одну версию каждой страницы, и если у вас их несколько, остальные в индекс не попадут. Это называется канонизацией: поисковик выбирает основной адрес и считает остальные его копиями. Типичные источники дублей: версии с www и без, http и https, адреса со слешем и без, параметры меток в ссылках.
Статус «Альтернативная страница с корректным тегом canonical» часто пугает владельцев, хотя сам по себе он не ошибка. Он говорит, что страница осознанно указывает на другой адрес. Проблема возникает, когда canonical стоит неверно. Классический случай: после копирования шаблона все страницы сайта указывают canonical на главную, и Google исключает их из индекса как копии. Проверьте исходный код нескольких разных страниц и убедитесь, что каждая ссылается сама на себя.
Отдельная история — редиректы. Если адрес перенаправляет на другой, в индексе окажется только конечный. После смены структуры сайта убедитесь, что нет цепочек из нескольких перенаправлений и петель: Google относит такие случаи к ошибкам редиректа. Каждая старая страница должна вести одним 301-перенаправлением на новую.
Какие ошибки сервера и доступа блокируют индексацию?
Страница не попадёт в индекс, если при обращении робота сервер отвечает ошибкой. Для Google это коды 5xx, а также 401 и 403: робот не вводит пароль и не подтверждает права, поэтому закрытые разделы остаются вне поиска. Если на сайте стоит защита от ботов, она иногда блокирует и Googlebot, особенно после ужесточения настроек.
Отдельно упомянем soft 404. Это страницы, которые выглядят как «ничего не найдено» или почти пустые, но сервер отдаёт код 200. Типичные примеры: пустая категория интернет-магазина или результат поиска без товаров. Для таких страниц нужно либо возвращать настоящий ответ 404, либо наполнять их содержимым.
Причина нередко в хостинге: недорогой тариф с ограничением по ресурсам в часы сканирования отдаёт ошибки 503. Тогда достаточно сменить тариф или оптимизировать нагрузку, и статус «ошибка сервера» уходит за пару недель.
Как попросить Google проиндексировать страницу после исправлений?
Запрос на индексирование сообщает Google, что страницу нужно просканировать в приоритетном порядке, но не гарантирует, что она окажется в индексе. Это подтверждает и справка Search Console: страница всё равно должна соответствовать требованиям качества.
Порядок действий после исправления причины:
- Откройте инструмент «Проверка URL» и вставьте адрес страницы.
- Нажмите «Проверить актуальную страницу» и убедитесь, что она доступна для Google и нет блокировок.
- Если проверка пройдена, нажмите «Запросить индексирование».
- Для массовых исправлений отправьте обновлённую карту сайта в разделе «Файлы Sitemap» и убедитесь, что в ней только нужные адреса.
- Вернитесь к отчёту через одну-две недели и сравните число страниц в индексе.
У инструмента есть дневные лимиты на запросы, поэтому закидывать в него сотни страниц бессмысленно. Для массовых случаев Google рекомендует карту сайта. Живой тест, как предупреждает справка, не видит всех проблем: он не покажет дубли и вопросы качества, так что зелёная галочка ещё не обещает индексацию.
Сколько ждать результата и когда пора менять подход?
Если причина была техническая, например noindex или robots.txt, страницы обычно возвращаются в индекс в течение нескольких дней или недель после исправления. Если причина в качестве контента, перемены медленнее: Google нужно пересканировать страницу, оценить обновление и пересмотреть решение, это занимает от нескольких недель до пары месяцев.
Менять подход стоит, когда вы исправили технику, подтвердили доступность и подождали около месяца, а картина не меняется. Тогда проблема почти наверняка в содержании и структуре сайта. Нужен аудит: что именно и почему Google считает слабым, какие страницы стоит усилить, объединить или удалить. Мы проводим такой разбор в рамках SEO-продвижения сайтов в Казахстане и обычно начинаем с бесплатного аудита, где первым делом смотрим отчёт об индексации.
Вот короткая проверка на 30 минут, с которой стоит начать самостоятельно: откройте robots.txt и убедитесь, что в нём нет запрета всего сайта; посмотрите исходный код главной и одной внутренней страницы на наличие noindex; зайдите в Search Console и найдите статус с наибольшим числом нужных страниц; откройте «Проверку URL» для одной такой страницы. Эти четыре шага закрывают большинство случаев, с которыми к нам обращаются.
Частые вопросы
Сколько времени Google индексирует новый сайт?
Новый сайт обычно попадает в индекс от нескольких дней до нескольких недель, но точного срока Google не обещает. Ускорить процесс помогают подтверждение сайта в Search Console, отправка карты сайта и внутренние ссылки на важные страницы. Если прошёл месяц и в индексе пусто, ищите техническую блокировку: robots.txt или noindex.
Почему главная в индексе, а остальные страницы нет?
Чаще всего робот не находит внутренние страницы или считает их малополезными. Проверьте, есть ли на них ссылки с главной, нет ли noindex в шаблонах внутренних страниц и не указывает ли canonical на главную. Если страницы короткие и похожи друг на друга, Google может оставить их со статусом «просканировано, но не проиндексировано».
Можно ли ускорить индексацию платными способами?
Платного способа гарантированно попасть в индекс Google не существует. Инструмент «Запросить индексирование» бесплатный и лишь повышает приоритет сканирования, как сказано в справке Search Console. Услуги «быстрой индексации» от посредников используют те же механизмы и ничего не гарантируют.
Как закрыть страницу от индексации правильно?
Для этого нужно оставить страницу доступной для робота и добавить директиву noindex метатегом или заголовком X-Robots-Tag. Запрета в robots.txt для этой цели недостаточно: по документации Google, при закрытом доступе робот директиву не увидит, и адрес всё равно может появиться в выдаче.
Влияет ли отсутствие индексации в Google на Яндекс?
Напрямую нет: поисковики индексируют сайты независимо и по своим правилам. Но причины часто общие, например запрет в robots.txt или нестабильный хостинг, поэтому после исправления стоит проверить сайт и в Яндекс Вебмастере. Страница может быть в индексе Google, а в Яндексе нет, и наоборот.