AI-краулеры и GEO: почему robots.txt разрешает обход, а сайт остаётся недоступным
В блоге Хабр вышел разбор о том, что роботы Google могут не видеть страницу, даже если robots.txt её разрешает. Это не ошибка, а сложность современной инфраструктуры, где доступность — не то же самое, что видимость. Я считаю, что это ключевое изменение в том, как клиенты находят бизнес в интернете.
Что скрывает доступность сайта для поиска
Всё, что кажется простым — робот заходит, видит контент, индексирует — уже не так. robots.txt может разрешать, а CDN, WAF или лимиты частоты — блокировать. Сайт, который вы считаете открытым, может быть недоступен для AI-агентов, которые теперь формируют первые впечатления у клиента.
Мы в Cetera видим это как сдвиг в приоритетах: не просто быть в поиске, а быть видимым в новых форматах — в AI-обзорах, в ответах на вопросы. Если ваш сайт не проходит проверку на всех уровнях — от идентификации робота до содержимого — он теряет выручку, даже если в выдаче есть ссылка.
Как работает доступность в реальности
Робот не приходит с заголовком Googlebot и сразу получает контент. Он проходит через CDN, WAF, проверяется на частоту запросов, может быть отфильтрован. Даже если robots.txt разрешает, это не значит, что страница будет прочитана. Всё зависит от того, как инфраструктура воспринимает запрос — и как он прошёл все слои.
Мы видим, что владельцы сайтов часто думают: «роботы видят, значит, всё в порядке». Это ошибка. Доступность — это не одна проверка. Это цепочка: от идентификации бота до получения полного контента. Пропуск одного звена — и сайт не попадает в AI-ответы, даже если он в поиске.
Что изменилось — и почему это важно
Раньше достаточно было проверить robots.txt и убедиться, что нет запретов. Сейчас — этого недостаточно. Google ввёл Web Bot Auth, экспериментальный механизм проверки подлинности запросов. Это значит, что робот должен не просто называться Googlebot, но и доказать, что он им является.
Теперь не помогает подмена User-Agent. Нужно понимать, кто пришёл, откуда, как он подтвердил себя. Сайт, который не прошёл проверку идентичности, может быть проигнорирован даже при наличии индекса. Для бизнеса это значит: вы не просто теряете позиции — вы теряете клиентов, которых не видят даже в AI-ответах.
Кого это касается — и как понять, что это про вас
Это про всех, кто продаёт в интернете и зависит от поиска. Особенно тех, кто работает с маркетплейсами, где AI-обзоры уже формируют первое впечатление. Если ваш сайт не проходит проверку на всех уровнях — от CDN до контента — вы не видны в новых форматах, даже если ваша карточка в поиске.
Особенно важно для тех, кто использует поддомены, CDN, WAF, кеширование. Если вы не проверяли, как именно роботы проходят через вашу инфраструктуру, вы не знаете, как выглядит ваш сайт для клиента.
Что с этим делать — шаги в общем виде
Начните с аудита доступности как процесса, а не как проверки. Составьте список всех слоёв: от User-Agent до контента. Для каждого URL проверьте, как проходит запрос — от идентификации до получения данных.
Отдельно проверьте, как CDN и WAF обрабатывают запросы. Убедитесь, что нет блокировок по IP, частоте или гео. Сравните ответы на один и тот же URL с разных источников. Проверьте, что robots.txt доступен на всех хостах. И не полагайтесь только на заголовки — проверяйте подлинность запросов через IP и DNS.
Для контента — определите ключевые маркеры: название, цена, условия. Убедитесь, что они приходят в полном виде. Не полагайтесь на 200-й код — проверяйте содержимое.
Что мы с этим делаем
Мы в Cetera подходим к такой задаче как к системной проверке инфраструктуры, а не как к исправлению ошибок. У нас есть опыт в проверке доступности на всех уровнях — от CDN до контента. Мы работаем с проектами в более чем 30 отраслях, и каждый раз сталкиваемся с тем, что инфраструктура мешает тому, что должно работать.
Мы не просто смотрим robots.txt. Мы проверяем, как запросы проходят через всю цепочку — от входа до вывода. Это позволяет понять, где теряется доступность, и как это влияет на привлечение клиентов. Если хотите понять, как это выглядит у вас, — давайте обсудим вашу задачу.
Это часть нашей работы — Продвижение сайтов. Комплексное SEO-продвижение сайтов всех типов в поиске Яндекс и Google. ✔ Заказать раскрутку в поисковых системах, контексте, социальных сетях и на маркетплейсах. Продвижение сайтов
Автор: Святослав Семенов из Cetera Labs