Начните с проверки страницы услуги или товара: выясните, получает ли поисковый или ИИ-бот её текст без капчи и запрета доступа. То, что сайт открывается у вас в браузере, ещё не подтверждает доступ для роботов. Проверка включает правила robots.txt, ответ сервера и содержимое страницы, которое получает бот. Ниже разберём, какие адреса выбрать, что попросить у разработчика и как исправить блокировку без отключения защиты всего сайта. Такой порядок подойдёт и небольшой компании услуг, и интернет-магазину в Беларуси.
Какие страницы проверить в первую очередь?
Выберите страницы, через которые покупатель знакомится с предложением и оставляет заявку. Главной страницы недостаточно: защита может пропускать её, но ограничивать доступ к каталогу, ценам или отдельным услугам. Именно проверку разных типов коммерческих страниц описывает материал «200 OK — и 17% реального доступа: как проверить, видит ли AI-бот ваш сайт» (vc.ru).
Для первой проверки составьте короткий список адресов:
- Главная страница.
- Основная услуга или категория товаров.
- Карточка товара либо подробная страница услуги.
- Страница с ценами или калькулятором.
- Статья, которая отвечает на вопрос покупателя.
Для каждого адреса запишите, какой текст должен увидеть робот. Например, на странице ремонта это название услуги, условия выезда и способ расчёта цены. В карточке товара — описание, характеристики и наличие. Такая запись поможет заметить ситуацию, когда сервер отдаёт оболочку сайта, а полезного содержания в ответе нет.
Если пока непонятно, чем доступ робота отличается от обычного просмотра, начните с разбора как проверить, видят ли ИИ-боты страницы сайта малого бизнеса. Для проверки защиты дальше понадобятся конкретные адреса и доступ к её настройкам или помощь разработчика.
Что проверить в robots.txt и настройках защиты?
Откройте файл robots.txt в корне сайта и попросите разработчика проверить правила для нужных роботов. Этот файл сообщает им, какие разделы разрешено обходить. Отдельно проверьте, нет ли запрета на весь сайт или на папку с коммерческими страницами. Не удаляйте ограничения без разбора: служебные разделы и дубли не обязаны попадать в поиск.
Затем проверьте настройки защиты. Между посетителем и сайтом могут работать фильтр запросов, защита от автоматического трафика или промежуточный сервис доставки страниц. Их правила действуют отдельно от robots.txt. Разрешение в файле не отменяет капчу, которую такой сервис показывает роботу.
Передайте разработчику конкретное задание: «Проверьте, не требуют ли эти страницы выполнения JavaScript, подтверждения браузера или ввода капчи до показа основного текста». Также попросите посмотреть ограничения по частоте запросов и сетевым адресам. Проверять нужно путь до самой страницы, включая перенаправления.
Доступ поисковых роботов и доступ ИИ-ботов проверяйте раздельно. У роботов бывают разные задачи: поиск страниц, получение материала для ответа или сбор данных для обучения. Разрешать все категории ради появления в ответах нейросетей не требуется. Сначала определите, кому и для какой задачи нужен доступ.
Как понять, что бот получает текст, а не страницу проверки?
Попросите разработчика сохранить ответ сервера для каждого адреса из списка и проверить его содержимое. Статус 200 OK сообщает об успешном ответе на запрос, но сам по себе не доказывает, что робот получил страницу услуги. Внутри ответа может оказаться просьба подтвердить, что посетитель человек, либо пустой шаблон без описания товара.
Сверяйте ответ с тем, что видит покупатель. Для первого прохода достаточно найти в нём название услуги, фрагмент описания и цену, если она есть на странице. Если вместо них виден текст проверки браузера, зафиксируйте адрес и время запроса. Если приходит только оболочка, отдельно проверьте, как сайт загружает основной текст.
Одна смена названия робота в тестовом запросе не подтверждает доступ настоящего поискового сервиса. Название можно подставить вручную, а защита учитывает и другие признаки. Такой тест помогает найти причину ошибки, но его нужно сопоставить с журналами сервера и инструментами проверки страниц в Google и Яндексе.
В журналах разработчик ищет обращения к выбранным страницам и выясняет, что произошло с запросом: сервер отдал содержание, отказал в доступе или отправил посетителя на проверку. Для подтверждения подлинности поискового робота следует использовать способ, который описывает сам поисковик. Доверять одному названию в запросе недостаточно.
Попросите повторить проверку последовательно и сохранить результаты. Если первый запрос получает текст, а следующий упирается в ограничение, разовый успешный тест скроет проблему. В отчёте нужны адрес страницы, время, результат и правило защиты, которое сработало. Скриншот открытого сайта этого не заменяет.
Как исправить блокировку и сохранить защиту сайта?
Исправляйте конкретное правило, которое мешает доступу. Если защита требует капчу от подтверждённого поискового робота на публичной странице услуги, разработчик настраивает исключение для такого обращения. Отключать защиту целиком ради проверки не нужно: административные разделы и публичные страницы решают разные задачи.
- Зафиксируйте проблемный адрес и условие, при котором возникает блокировка.
- Найдите правило защиты, которое обрабатывает этот запрос.
- Измените правило только для нужного сценария доступа.
- Повторите проверку страницы и убедитесь, что бот получает основной текст.
- Проверьте, что ограничения для закрытых разделов сохранились.
Если страница доступна, но текст появляется лишь после дополнительных действий в браузере, задача уже касается устройства сайта. Попросите разработчика обеспечить получение основного содержания теми роботами, для которых нужен доступ. Не стоит автоматически считать любую пустую страницу результатом блокировки: причина может быть в загрузке текста.
У технического аудита должен быть проверяемый результат: список страниц, причина сбоя, конкретная правка и повторный тест. Формулировка «настроили доступ для ИИ» ничего не объясняет без этих материалов. Такой состав работ помогает владельцу бизнеса принять результат, даже если он сам не меняет настройки сервера.
После исправления отделите доступность от видимости. Возможность прочитать страницу не гарантирует индексацию или упоминание в ответе нейросети. Следующий этап — проверить, какие страницы сайта цитируют ИИ, и сопоставить их с теми, которые прошли техническую проверку.
Типичные ошибки при проверке доступа ботов
- Проверять только главную. Добавьте страницу услуги или товара: для разных разделов могут действовать разные правила.
- Считать 200 OK доказательством доступа. Найдите в ответе основной текст страницы, а не сообщение о проверке браузера.
- Ограничиться robots.txt. Проверьте также защиту, перенаправления и способ загрузки содержания.
- Разрешать любой запрос с названием известного бота. Попросите разработчика подтвердить подлинность робота, прежде чем создавать исключение.
- Обещать попадание в ответы ИИ после снятия блокировки. Оценивайте технический доступ и цитирование как отдельные результаты.
Сейчас скопируйте адрес одной страницы, которая должна приносить заявки, и отправьте разработчику вопрос: «Получает ли подтверждённый поисковый робот основной текст этой страницы без капчи? Пришлите результат проверки и ответ сервера». На это уйдёт меньше двух минут, а у проверки появится конкретный объект.
