Сайт работает, но ИИ-бот не видит страницы: что проверить?

Сайт работает, но ИИ-бот не видит страницы: что проверить?

Откройте важную страницу сайта без входа в аккаунт, затем проверьте правила для роботов и журнал блокировок защиты. Сайт может открываться у владельца, но возвращать автоматическому посетителю запрет доступа, проверку браузера или пустую оболочку без текста. Ниже разберём, как отличить техническую блокировку от отсутствия сайта в ответах ИИ, где искать причину и какую задачу передать разработчику. Начните со страницы услуги или товара, которую хотите сделать доступной для поиска.

Как понять, что ИИ-бот действительно не видит сайт?

Отсутствие компании в ответе ChatGPT или другого ИИ-поиска само по себе не доказывает блокировку. Сервис мог выбрать другой источник, использовать сведения из поискового индекса или не обращаться к вашей странице при конкретном запросе. Поэтому вопрос «почему нас не рекомендуют» сначала стоит разделить на две задачи: доступ к странице и выбор источника для ответа.

Для первой задачи нужны технические следы. Журнал запросов показывает обращения к серверу, а журнал защиты помогает найти запросы, которые она остановила раньше. Если смотреть только серверный журнал, часть блокировок останется за пределами проверки.

  1. Выберите одну публичную страницу с описанием основной услуги.
  2. Откройте её в приватном окне браузера без авторизации.
  3. Попросите разработчика проверить ответ сервера и наличие основного текста в HTML.
  4. Сопоставьте обращения робота с событиями в журнале защиты.

Запишите адрес страницы, время проверки и результат: открылся текст, появилась проверка браузера или сервер отказал в доступе. Скриншот страницы пригодится, но для диагностики нужен ещё и ответ сервера. Успешное открытие в вашем браузере подтверждает доступ только для этого браузера.

Если робот получает содержимое страницы без препятствий, продолжайте проверку причин, по которым источник не выбирают для ответа. Для отдельного сценария пригодится разбор почему сайт не попадает в ответы Яндекс Нейро.

Что проверить в robots.txt и настройках индексации?

Файл robots.txt содержит инструкции для автоматического обхода сайта. Найдите его в корне домена по пути /robots.txt и проверьте, какие разделы разрешены конкретному роботу. Смотреть нужно весь набор правил: отдельная группа для робота может отличаться от общей группы User-agent: *.

Запись Disallow: / запрещает обход всего сайта в той группе, к которой относится. Такой запрет мог остаться после разработки или переноса. Не удаляйте все ограничения разом: сначала выясните, какие разделы намеренно закрыты и какие публичные страницы должны быть доступны.

Отдельно проверьте запрет индексации в метатеге robots и HTTP-заголовке X-Robots-Tag. Инструкция noindex относится к включению страницы в поисковый индекс. Она отличается от запрета обхода в robots.txt: поисковому роботу обычно нужно получить страницу, чтобы увидеть noindex. Подробный порядок проверки есть в материале как проверить, не закрывает ли robots.txt сайт от поисковых и ИИ-ботов.

У ИИ-сервисов бывают разные роботы для поиска, получения страницы по запросу пользователя и сбора материалов для обучения. Не переносите разрешение одной категории на все остальные. Перед изменением правил разработчику нужно сверить назначение робота и его актуальный идентификатор с документацией соответствующего сервиса.

Разрешение обхода не гарантирует попадания в ответы ИИ. Robots.txt также не защищает закрытые разделы от посторонних: для ограничения доступа нужна авторизация. Рабочая задача здесь конкретна: разрешить нужным роботам получать выбранные публичные страницы, сохранив ограничения для остальных разделов.

Почему CDN и защита пропускают человека, но блокируют робота?

CDN, промежуточная сеть доставки содержимого, и защитный фильтр могут остановить запрос до обращения к серверу сайта. Владелец при этом видит обычную страницу: его браузер уже прошёл проверку или получил разрешение ранее. Автоматический посетитель приходит без этой истории и сталкивается с другим ответом.

Попросите администратора найти в журнале защиты обращения к выбранной странице. Нужны причина срабатывания, действие фильтра и правило, которое он применил. Надписи «бот заблокирован» недостаточно: за ней может стоять ограничение частоты запросов, фильтр по сети или обязательная проверка браузера.

  • Проверка браузера требует выполнения JavaScript или другого действия, которое робот не выполняет.
  • Фильтр по стране или сети блокирует инфраструктуру, из которой пришёл запрос.
  • Лимит частоты останавливает обход после серии обращений к страницам.
  • Правило против ботов затрагивает нужного поискового робота вместе с нежелательными запросами.

Не отключайте защиту целиком ради проверки. Администратор может временно изменить конкретное правило для выбранного адреса и сравнить результат. Если страница стала доступна, причина локализована; дальше нужно настроить узкое исключение и вернуть остальные ограничения.

Одного имени робота в User-Agent недостаточно для доверия: отправитель запроса может подставить эту строку сам. Способ проверки подлинности зависит от сервиса. Что именно искать в настройках фильтра, разобрано в статье как проверить, не блокирует ли защита сайта поисковых и ИИ-ботов.

Что делать, если страница открывается, но бот не получает текст?

Проверьте, что сервер отдаёт по адресу услуги: само описание или только оболочку, которую браузер наполняет через JavaScript. Возможности роботов различаются, поэтому текст, видимый человеку после загрузки, ещё не подтверждает, что конкретный сервис получил его целиком.

Откройте исходный HTML страницы и найдите характерную фразу из описания услуги. Если фразы нет, это повод проверить способ загрузки содержимого. Сам по себе такой результат ещё не доказывает недоступность для всех роботов, но показывает разработчику, где продолжить диагностику.

Проверьте и путь к странице. Основная услуга должна открываться по постоянному адресу, без обязательного входа, выбора города во всплывающем окне или отправки формы. Если описание появляется только после действия пользователя, вынесите существенную информацию на публичную страницу.

Для бизнеса в Беларуси сюда же относится явное описание территории обслуживания. Если компания работает в Бресте, напишите это на странице услуги. Роботу проще извлечь географию из текста, чем установить её по интерактивной карте. Указывайте только те города, в которых компания действительно обслуживает клиентов.

После исправления повторите проверку того же адреса и сохраните результат. Так технический аудит превращается в проверяемую задачу: какое препятствие нашли, что изменили и получил ли робот нужное содержимое. Обещание «открыть сайт для нейросетей» без такого отчёта не объясняет, что именно было исправлено.

Типичные ошибки при проверке доступа ИИ-ботов

  • Считать отсутствие упоминания доказательством блокировки. Сначала проверьте доступ и содержимое ответа сервера.
  • Менять только robots.txt. Запрос может останавливать защита ещё до сервера сайта.
  • Разрешать всех роботов без разбора. Разделяйте задачи поиска, получения страниц и обучения моделей.
  • Проверять только главную страницу. У страницы услуги могут быть другие правила и другой способ загрузки текста.
  • Завершать работу после изменения настроек. Повторите запрос и проверьте журналы, чтобы подтвердить результат.

Доступ к сайту, включение в индекс и выбор источника для ИИ-ответа требуют отдельных проверок. Сначала устраните техническое препятствие, затем оценивайте содержание и видимость страницы. Сейчас потратьте до двух минут: откройте основную страницу услуги в приватном окне и запишите, доступен ли её текст без входа и дополнительных действий.