Почему страницы сайта не появляются в поиске и как найти причину

Страница не появляется в поиске по одной из трёх причин: робот её не нашёл, нашёл, но не записал в базу, или записал, но не показывает по нужным запросам. Откройте Яндекс Вебмастер и посмотрите статус страницы: от него зависит, что делать дальше.

Страницы не видны в поиске: сначала выясните, на каком шаге они остановились

Небольшая компания по ремонту квартир запустила обновлённый сайт. Через две недели владелец вводит в Яндексе адрес новой страницы «Ремонт ванной под ключ» и видит пустую выдачу. Название страницы тоже ничего не находит. Это условный пример: в браузере страница открывается, а поиск о ней не знает.

Страница могла застрять на одном из трёх шагов. Робот не нашёл адрес. Робот нашёл и прочитал страницу, но не записал её в базу. Или страница записана, но по вашим запросам её не показывают. Последний случай уже не про индексацию: попадание в базу не гарантирует место в выдаче.

У каждого шага свои проверки. Поэтому повторная отправка адреса помогает не всегда: если страницу закрыл запрет, робот придёт снова и снова уйдёт ни с чем. Если разбираться самим некогда, можно разобрать причины вместе со специалистом на примере вашего сайта.

«Нет в поиске» — не диагноз. Сначала узнайте, на каком из трёх шагов остановилась страница.

Как страница попадает в поиск: три остановки

Путь страницы от адреса до выдачи состоит из трёх остановок: робот узнаёт о ней, открывает и читает её, а поисковая система решает, записывать ли её в индекс. Сбой возможен на каждой, и на каждой он выглядит по-своему.

1. Страницу нашли. Поисковый робот узнаёт адрес по ссылкам с других страниц, из карты сайта sitemap.xml или из панели вебмастера. Нет ни ссылок, ни карты — робот может не дойти.
2. Страницу прочитали. Робот открывает адрес, смотрит запреты и забирает содержимое. Запрет или ошибка сервера обрывают путь здесь.
3. Страницу записали. Поисковая система сравнивает её с другими и решает, брать ли в индекс. Дубль или пустая страница на этом шаге отсеиваются.

Запись в индекс и показ в выдаче — разные события: индексация заканчивается записью страницы в базу, а какое место она займёт по запросу, решается позже.

Как проверить, есть ли страница в индексе

Статус страницы показывают бесплатные панели поисковиков: Яндекс Вебмастер и Google Search Console. Для проверки нужны подтверждённые права на сайт в обоих сервисах и точный адрес страницы. Частая ошибка — проверять не тот вариант адреса: с www вместо без www или http вместо https.

Порядок для одной страницы:

1. Скопируйте адрес из адресной строки браузера, не набирайте его вручную.
2. Найдите страницу в панели и прочитайте её статус.
3. Если страницы в поиске нет, откройте причину исключения.
4. Исправьте причину, затем отправьте страницу на повторный обход.

Как посмотреть статус страницы в Яндекс Вебмастере

В разделе «Индексирование» есть список страниц в поиске и список исключённых. Вставьте адрес в проверку страницы и посмотрите результат. Страница будет либо в поиске, либо исключена с указанной причиной, либо роботу она пока неизвестна. Названия пунктов меню иногда меняются, поэтому сверяйтесь со справкой Яндекса.

Как посмотреть статус страницы в Google Search Console

Вставьте адрес в «Проверку URL»: сервис покажет, есть ли страница в индексе Google и когда её сканировали. Общую картину даёт отчёт «Индексирование страниц» со списком причин, по которым часть адресов не попала в индекс. Статусы в Google и Яндексе могут не совпадать: у поисковиков разные правила отбора, и страница в одном индексе бывает не в другом.

Что означают статусы исключённых страниц и что с ними делать

Статус исключённой страницы подсказывает вероятную причину, но не доказывает её. Таблица помогает выбрать, что проверить первым. Формулировки в панелях отличаются от тех, что здесь, поэтому ориентируйтесь на смысл и сверяйте названия со справками.

Статус указывает на причину не всегда: «дубль» иногда прячет проблему с адресом, а «ошибка сервера» бывает разовой. Поэтому дальше идут проверки по порядку.

Страница закрыта от робота или не открывается

Чаще всего страницу не пускает запрет, поставленный на время разработки, или сбой при открытии адреса. Эти причины проверяют первыми: они простые, и их легче всего пропустить.

Закрыто настройками: robots.txt, noindex и забытые настройки после запуска

Файл robots.txt ограничивает обход страниц для робота, а мета-тег noindex просит не включать страницу в индекс. Это разные запреты. Посмотрите по порядку:

• файл robots.txt в корне сайта: нет ли в нём строки, закрывающей нужный раздел;
• код страницы: нет ли мета-тега robots со значением noindex;
• настройки CMS и плагинов: нет ли галочки «скрыть сайт от поисковиков».

В нашей условной сцене причина была в последнем пункте: галочку поставили на время разработки и не сняли после запуска. После её снятия и повторного обхода статус страницы в Вебмастере изменился.

Факт. Если страница закрыта в robots.txt, робот её не открывает и поэтому не увидит на ней noindex. Чтобы убрать страницу из выдачи, ставят noindex и оставляют страницу открытой для обхода, а не закрывают её в robots.txt.

Запрет бывает нарочным: личный кабинет, корзину и тестовые копии оставляют закрытыми.

Не открывается для робота: ошибки сервера и редиректы

Код ответа сервера сообщает роботу, доступна ли страница. Коды 4xx и 5xx значат, что страницу не отдали. Длинная цепочка переадресаций тоже может помешать: робот способен бросить её на полпути. Код ответа и путь редиректов видны в проверке страницы в панели. Если сервер отвечает медленно, робот может заходить реже, и это правит разработчик или хостер.

Робот открывает страницу, но не берёт её в поиск

Если запретов нет и страница открывается, поиск может отказаться её записывать из-за дублей или потому, что робот не видит основной текст. Для читателя страница выглядит нормально, а для робота она похожа на другую или пуста.

Дубли и неверный canonical

Дубли возникают из-за параметров в адресе, разбивки списков на страницы и версий сайта с www и без. Тег canonical указывает, какой адрес считать основным, и от него зависит, какая версия попадёт в индекс. Если canonical ведёт на чужой или ошибочный адрес, страница может быть исключена как копия. Откройте код страницы и сравните адрес в canonical с адресом самой страницы.

Текст появляется только после работы скриптов

Некоторые сайты, в том числе на конструкторах, собирают текст скриптами JavaScript уже в браузере. Человек видит текст, а робот может получить пустую страницу. Проверьте через просмотр страницы в панели: виден ли в нём основной текст. Если нет, это вопрос к разработчику или к настройкам платформы.

Если основного текста нет в том, что получает робот, для поиска страница пуста.

Робот не находит дорогу к странице или не видит в ней пользы

Страница без входящих ссылок и без адреса в карте сайта может остаться для робота незамеченной. Страница с пустым или повторяющим другую содержанием замечена, но в базу может не попасть. Оба случая правятся просто, если правильно назвать причину.

Проверьте признаки:

• на страницу не ведёт ни одна ссылка из меню, разделов и других статей;
• её адреса нет в sitemap.xml, или в карте лежат закрытые страницы;
• на странице почти нет собственного текста, или она повторяет соседнюю.

Внутренние ссылки ведут робота к страницам нового раздела, а карта сайта помогает ему обнаружить адреса. Лимиты размера sitemap.xml сверьте с описанием протокола на sitemaps.org. Для малого сайта они редко мешают.

Что поправить сразу: поставьте ссылку из тематического раздела и допишите страницу так, чтобы она отвечала на вопрос, которого на сайте ещё нет.

Сколько ждать и когда пора искать причину

Точные сроки поисковые системы не гарантируют, а числа в днях у разных источников расходятся. Мы не приводим диапазон: сверьтесь со справками Яндекса и Google.

Критерий простой. Если страница открывается, не закрыта и к ней ведёт хотя бы одна ссылка, подождите срок из справки. Если после него статус не меняется, идите по разделам выше: запреты, ответ сервера, дубли, текст, ссылки.

Если вы проверили статусы, запреты и коды ответа, а страницы по-прежнему не в поиске, причина может лежать в настройках сервера или платформы, к которым у вас нет доступа. Тогда начните с SEO-аудита сайта, а не с ручной отправки адресов. Если причина одна и понятна, например забытая галочка, аудит не нужен: исправьте и проверьте статус.

Проверяйте статус в Яндексе и в Google отдельно: правила отбора у них разные.

Что сделать после публикации страницы, чтобы она не затерялась

После публикации каждой новой страницы услуги или статьи блога сделайте пять шагов. Они занимают несколько минут и убирают самые частые причины.

1. Откройте страницу в браузере и проверьте, что она доступна и видна без входа.
2. Убедитесь, что на ней нет запрета: noindex в коде и закрытого раздела в robots.txt.
3. Поставьте ссылку на неё из тематического раздела или близкой статьи.
4. Проверьте, что адрес есть в sitemap.xml.
5. Через несколько дней посмотрите статус в Яндекс Вебмастере.

Типичная ошибка — запрашивать повторный обход вместо исправления причины: робот придёт и найдёт тот же запрет. Признак успеха один: после обхода статус страницы в панели изменился.

Мнение. Если вы ведёте блог для привлечения заявок, заведите эти пять шагов как постоянный порядок публикации: так проще, чем разбирать потерянные страницы через месяц.

Страница в поиске, но её не находят по запросам: это уже другая задача

Если страница в индексе и находится по своему адресу, но не показывается по нужным запросам, индексация исправна. Дальше работают содержание страницы, конкуренция и продвижение. Показы в поиске тоже не равны обращениям, а обращения не равны продажам.

Индексация отвечает на вопрос «видит ли поиск страницу», а не «покажет ли её по нужному запросу».

Позиции, трафик и заявки статус «в поиске» не обещает. Откройте Вебмастер и убедитесь, что важные страницы в поиске. Затем выпишите их адреса и запросы, по которым их должны находить, и передайте на разбор: так можно понять, почему страница есть в поиске Яндекса, но её не находят по запросам.

Частые вопросы

Нужно ли отдельно добавлять сайт в Яндекс Вебмастер и Google Search Console?

Роботы находят сайты и без этого, но без панелей вы не увидите статусов страниц и причин исключения. Подтвердите права на сайт в обоих сервисах, это бесплатно.

Как понять, что исправление сработало?

После правки отправьте страницу на повторный обход в панели и посмотрите её статус. Если он не изменился, вернитесь к таблице причин и проверьте следующий пункт.

Можно ли ускорить попадание страницы в поиск?

Запрос на повторный обход в панелях и ссылки из разделов сайта помогают роботу дойти быстрее. Если причина в запрете или дубле, ускорение не сработает, пока её не уберут.

Как закрыть страницу от индексации намеренно?

Для служебных страниц ставят мета-тег noindex или закрывают доступ настройками сайта. Запрет в robots.txt ограничивает обход и не всегда убирает страницу из выдачи, поэтому действие сверьте со справкой поисковика.

Нужен ли программист, чтобы всё исправить?

Часть правок делает владелец сайта: снять галочку в CMS, добавить ссылку, поправить карту сайта. Ошибки сервера, редиректы и скрипты обычно требуют разработчика, поэтому подготовьте доступ к панелям и список адресов.