Проверьте, разрешает ли robots.txt сканирование нужных страниц, открываются ли они без ошибок и появляются ли запросы от ИИ-краулеров в журнале сервера. Эти проверки покажут, доступен ли сайт для GPTBot, ClaudeBot и других роботов. Но доступность страницы ещё не означает, что нейросеть прочитала её или включила в ответ. Ниже — порядок действий, который поможет найти технические блокировки и отдельно проверить упоминания компании в ИИ-поиске.
Какие ИИ-боты могут обращаться к сайту?
У разных сервисов свои роботы и правила использования контента. Например, в запросах к сайту могут встречаться GPTBot и ChatGPT-User, ClaudeBot, Google-Extended или PerplexityBot. Названия и назначение краулеров со временем меняются, поэтому перед настройкой доступа сверяйтесь с документацией конкретного сервиса.
Не смешивайте три разных действия. Краулер может собирать материалы для обучения модели, робот поисковой функции — находить страницы для ответа, а пользовательский агент — открывать сайт по запросу человека. Разрешение одному роботу не обязательно означает разрешение остальным.
Сначала решите, какие страницы имеет смысл показывать. Для компании это обычно описания услуг, цены, ответы на частые вопросы и контакты. Страницы входа в личный кабинет, корзина, внутренний поиск и технические разделы редко нужны для ответов о бизнесе. Запишите выбранные разделы, прежде чем менять правила доступа.
Как проверить robots.txt и доступность страниц?
Откройте robots.txt в браузере, добавив /robots.txt к адресу сайта. Найдите правила User-agent, Disallow и Allow. Правило может закрыть весь сайт для указанного робота или только отдельные каталоги. Проверяйте каждое правило отдельно: более общее запрещение способно перекрыть ожидаемый доступ.
Например, правило User-agent: GPTBot задаёт инструкции для этого робота, а Disallow: / закрывает ему весь сайт. Чтобы открыть нужный раздел, задают разрешающее правило для конкретного пути. Синтаксис и порядок обработки правил могут различаться у роботов, поэтому проверяйте инструкции нужного сервиса и тестируйте итоговый вариант.
Затем откройте важные страницы в обычном браузере и проверьте их ответ сервера. Страница должна загружаться без ошибки, редиректов по кругу и требования войти в аккаунт. Посмотрите также, доступен ли основной текст без выполнения сложных сценариев JavaScript. Если содержание появляется только после нажатия кнопки или загрузки скрипта, робот может не получить его в удобном для чтения виде.
Проверьте не только главную. Возьмите по одной странице услуги, контактов и ответов на вопросы. Если у сайта есть версии для разных городов, убедитесь, что открываются нужные адреса и на каждой странице ясно указано, где работает компания.
Как узнать, приходили ли ИИ-краулеры на сайт?
Попросите администратора или специалиста с доступом к хостингу проверить журналы сервера. В них ищут обращения к страницам сайта и User-Agent — строку, в которой клиент сообщает своё имя. Запросы с названиями известных роботов дают полезный сигнал: сайт получил обращение с таким обозначением.
Однако одна строка User-Agent не доказывает, что запрос сделал именно заявленный сервис. Её можно подделать. Для строгой проверки нужно сверить IP-адрес и другие признаки по официальным инструкциям владельца краулера. Если в журнале нет подходящих обращений, это тоже не доказывает, что сайт закрыт: робот мог ещё не приходить или использовать иной способ доступа.
Проверьте период журнала и адреса страниц. Одно обращение к главной странице не подтверждает, что бот видел описания услуг. Попросите выгрузку запросов с датой, кодом ответа, путём страницы и User-Agent. Ошибки доступа ищите отдельно: страница могла вернуть отказ, перенаправить робота или ответить ошибкой сервера.
Если журналы недоступны владельцу сайта, передайте запрос хостинг-провайдеру или разработчику. Попросите проверить конкретные пути и указанные User-Agent, а не просто ответить, «виден ли сайт нейросетям». Так вы получите проверяемый результат по каждой важной странице.
Что делать, если страницы доступны, но компанию не цитируют?
Технический доступ и упоминание в ответах — разные проверки. Открытая страница может не появиться в ответе нейросети: модель выбирает источники по своему механизму, а результат зависит от запроса и доступных ей данных. Поэтому отдельно проверьте, правильно ли ИИ описывает услуги, адрес и условия работы компании.
Составьте несколько запросов, которые мог бы задать потенциальный клиент: например, как выбрать услугу вашей категории в Беларуси или где найти исполнителя в нужном городе. Сравните ответы разных систем и запишите, какие компании названы, какие страницы приведены и нет ли ошибок о вашем бизнесе. Повторяйте проверку с одинаковыми формулировками, чтобы сравнивать результаты.
Для систематической проверки пригодится материал о том, как проверить цитирование страниц сайта в ответах ИИ. Если бот неверно передаёт факты, начните с самой страницы: проверьте, понятно ли написаны название услуги, география работы, цены и условия. Уберите противоречия между страницами и обновите устаревшие сведения.
Какие ошибки чаще всего мешают проверке?
- Считать, что разрешение в robots.txt гарантирует попадание в ответы ИИ. Оно регулирует доступ, но не обещает цитирование.
- Проверять только главную страницу и не открывать страницы услуг, контактов и условий.
- Закрывать все каталоги одним правилом, не проверив, какие материалы в них лежат.
- Принимать User-Agent за надёжное подтверждение личности робота без сверки его происхождения.
- Менять robots.txt, но не проверять, как сервер отвечает на запросы после изменений.
Начните с трёх действий: откройте robots.txt, проверьте несколько важных страниц и попросите администратора посмотреть журналы сервера. Затем отдельно протестируйте ответы ИИ на вопросы о вашей услуге. Так вы поймёте, где проблема: в доступе к сайту, содержании страниц или видимости компании в ответах.
