Проверьте адрес проблемной страницы в Google Search Console и Яндекс Вебмастере: эти инструменты помогут отличить отсутствие в индексе от низких позиций. Страница может открываться у покупателя, но оставаться недоступной поисковому роботу, дублировать другой адрес или содержать запрет на индексацию. Ниже разберём, как найти причину, что передать разработчику и как проверить исправление. Начните с одной важной страницы: категории товаров, услуги или карточки, на которую должны приходить покупатели из поиска.
Как проверить, есть ли страница в индексе Google и Яндекса?
Индексация — это добавление страницы в базу поисковой системы. Обход происходит раньше: робот запрашивает адрес и изучает ответ сайта. Даже если поисковик уже посетил страницу, он не обязательно включит её в индекс. А наличие в индексе ещё не означает, что страница появится среди первых результатов по нужному запросу.
Для проверки используйте точный адрес из строки браузера. Адреса с параметрами фильтра, другой версией протокола или завершающим слешем могут обрабатываться как отдельные URL.
- Откройте проверку URL в Google Search Console и вставьте адрес страницы. Посмотрите статус индексации, дату последнего обхода и сведения об основной версии страницы.
- Проверьте тот же адрес в Яндекс Вебмастере. Найдите сведения о его присутствии в поиске и причину исключения, если инструмент её показывает.
- Сопоставьте результат с текущим состоянием сайта. Если доступна проверка страницы в реальном времени, запустите её: сохранённый отчёт может описывать состояние до исправлений.
- Запишите причину отдельно для каждого поисковика. Google и Яндекс обходят сайт независимо, поэтому результаты могут различаться.
Запрос с оператором site: подходит для предварительной проверки, но не даёт полного перечня страниц в индексе. Отсутствие адреса в такой выдаче ещё не доказывает проблему. Подробный порядок действий разобран в инструкции как проверить индексацию страниц в Google и Яндексе.
Почему поисковик не добавляет страницу в индекс?
Сначала прочитайте причину в отчёте, затем проверяйте сайт. Иначе легко потратить время на тексты, когда робот получает ошибку сервера или запрет на доступ.
- Запрет на обход или индексацию. Файл robots.txt регулирует доступ робота к разделам, а директива noindex запрещает включать страницу в индекс. Это разные механизмы: если робот не может прочитать страницу, он не увидит размещённый на ней noindex.
- Ошибка ответа сервера. Вместо содержимого страницы робот получает сообщение об отсутствии адреса, сбой или ограничение доступа. Открытие сайта в вашем браузере не исключает отдельной блокировки поисковых роботов.
- Дубли и другая основная версия. Одинаковые товары доступны по нескольким адресам, а canonical указывает поисковику предпочтительный URL. Этот сигнал носит рекомендательный характер: поисковая система может выбрать другую версию.
- Страницу трудно обнаружить. На неё нет обычных внутренних ссылок, а каталог показывает её только после действий пользователя. Карта сайта помогает сообщить об адресе, но не гарантирует индексацию.
- Страница почти не отличается от других. Пустая категория, карточка без характеристик или копия раздела с другим заголовком не дают отдельного ответа на запрос покупателя. Проверяйте, какую задачу решает именно этот адрес.
У интернет-магазинов отдельно проверьте фильтры и сортировки. Они создают комбинации адресов с похожим набором товаров. Если открыть для обхода все варианты, робот будет тратить ресурсы на повторы; если закрыть всё, можно потерять полезные страницы под коммерческие запросы. Такой конфликт описан в материале «Фильтры и сортировки интернет-магазина» (Cropas.by).
Для магазина с доставкой по Беларуси отдельная страница города имеет смысл, когда помогает покупателю: объясняет условия доставки, самовывоза или доступность товара. Замена названия города в одинаковом тексте сама по себе не создаёт полезную страницу.
Как устранить причину и не закрыть нужные страницы?
Перед изменениями сохраните текущие настройки и составьте список адресов, которые затронет правка. Особенно внимательно проверяйте общие шаблоны: один запрет в шаблоне категории может распространиться на весь каталог. Разработчику передавайте конкретный URL, статус из отчёта и ожидаемый результат.
- Восстановите доступ к содержимому. Проверьте ответ сервера и ограничения со стороны защиты сайта. Если страница должна участвовать в поиске, уберите случайный запрет на её индексацию. Не открывайте служебные разделы вместе со всем сайтом.
- Определите основной адрес. Если несколько URL показывают одну страницу, согласуйте основную версию и настройте подходящий способ объединения дублей: перенаправление либо canonical. Внутренние ссылки должны вести на выбранный адрес.
- Добавьте путь к странице. Разместите ссылку в подходящей категории или навигации. Включите в XML-карту сайта актуальные адреса, которые должны участвовать в поиске, без ошибок и лишних перенаправлений.
- Проверьте содержимое. Для услуги укажите состав работ и условия заказа, для товара — характеристики и доступность. Если страница повторяет другую без отдельной задачи, рассмотрите объединение вместо переписывания ради объёма.
Не удаляйте noindex и не меняйте robots.txt сразу для всех разделов. Корзина, результаты внутреннего поиска и технические страницы требуют отдельного решения. Сначала определите, какие страницы нужны покупателям из поиска, затем настраивайте правила для каждой группы.
Если одинаковая причина повторяется у категорий или карточек, задача уже касается шаблона сайта. В таком случае полезен технический SEO-аудит с перечнем примеров, приоритетами и заданиями разработчику. Результат такой работы можно проверить: нужные страницы доступны роботу, ссылки ведут на основные адреса, случайные запреты сняты.
Типичные ошибки при исправлении индексации
- Повторно отправлять адрес без исправлений. Запрос на переобход не устраняет запрет, ошибку сервера или дублирование. Сначала проверьте причину.
- Закрывать страницу в robots.txt, чтобы робот прочитал noindex. Блокировка обхода мешает увидеть эту директиву. Способ исключения выбирают с учётом текущего статуса страницы.
- Считать карту сайта гарантией. Она сообщает об адресах, но поисковик отдельно решает, какие страницы включить в индекс. Проверьте доступность и содержимое каждого важного URL.
- Наращивать текст ради индексации. Дополнительные абзацы не исправят неверный canonical или сбой сервера. Сначала устраните техническое препятствие.
- Добиваться индексации всех адресов. Варианты сортировки и служебные страницы не обязаны участвовать в поиске. Оценивайте полноту индексации по нужным посадочным страницам.
Если страница есть в индексе, но не получает переходов, переходите к другой диагностике. Проверьте запросы, показы и соответствие страницы намерению покупателя. Информационная статья и категория товаров решают разные задачи, даже если используют похожие слова.
Как понять, что исправление сработало?
После правки снова проверьте страницу в реальном времени, затем запросите переобход через инструменты поисковиков, если эта возможность доступна. Сохраните дату изменения и исходный статус. Отчёт об индексации обновляется после обработки страницы, поэтому отсутствие мгновенного результата ещё не говорит об ошибке.
Проверяйте результат по этапам: робот получил доступ к странице, поисковик выбрал нужный основной адрес, затем включил его в индекс. Фиксированного срока для всех сайтов нет. Если статус не меняется, посмотрите, был ли новый обход после исправления и что именно получил робот.
Дальше оцените пользу для бизнеса. Показы и переходы помогают увидеть поисковую видимость, а отправки форм и заказы — результат посещений. Для этого пригодится инструкция как проверить, какие страницы приносят заявки из Google и Яндекса.
Доступность для ИИ-поиска проверяйте отдельно. Индексация в Google или Яндексе не гарантирует, что нейросеть выберет страницу источником ответа. Доступ робота, понятное содержание и точные сведения о компании помогают подготовить сайт к такой проверке. Следующий этап описан в материале как проверить, видят ли ИИ-боты страницы сайта.
Сейчас скопируйте адрес одной важной страницы и вставьте его в проверку URL в Google Search Console. На это понадобится меньше двух минут; сохраните статус как отправную точку для исправлений.
