Как сайт попадает в ответы Claude: доступ важнее контента — Блог — Святослав Семёнов
RSS
4 ноября 2026

Как сайт попадает в ответы Claude: доступ важнее контента

Компания Anthropic сообщила, что её поисковый бот Claude-SearchBot индексирует страницы для ответов в интернете. В исследовании Crawl Readiness выяснили, что почти каждый девятый сайт из топ-1000 блокирует его, хотя это убивает доступ к ответам. Это не про ИИ — это про то, как клиенты находят вас.

Claude-SearchBot не идёт в чат — он ищет

Сайт не попадает в ответы Claude, потому что его не видит. Не потому что он плохой, а потому что его закрыли. Бот, который ищет, — Claude-SearchBot — может быть заблокирован в robots.txt, и тогда он просто не войдёт в индекс. А без индекса — нет ответа. Это не про ИИ. Это про доступ. Мы в Cetera видим, как владельцы магазинов в панике удаляют всё, что может быть связано с ИИ, и в итоге теряют клиентов, которых не видят даже в поиске.

Когда Claude ищет, он не выдаёт ответ по памяти. Он читает. И читает только то, что уже в индексе. Если страница не в индексе Brave — её не будет в ответе. Даже если она идеальная. Даже если вы продаете самое лучшее. Клиент не найдёт вас, потому что вы не в том поиске, который использует Claude.

Почему Brave, а не Google

Anthropic не называет поисковик, но данные говорят — это Brave Search. 87,8% страниц в ответах Claude были в топ-10 Brave, а в Google — только 45,6%. Это не случайность. Это расстановка сил. Сайт, который не в топе Brave, почти не попадает в ответы. И это не про SEO. Это про то, как работает поисковик, который использует ИИ. Если вы думаете, что Google — это всё, вы уже отстали.

Возможно, вы не знали, что Brave — это не просто браузер. Это движок, который формирует индекс, на котором строится ответ Claude. И если вы не в нём — вы не в ответах. Даже если ваш сайт идеален. Даже если он в топе Google. Важно не то, что вы делаете, а где вы есть.

Запрет на всех — это самоубийство

Когда владелец сайта запрещает всех ботов Anthropic сразу, он не защищает контент — он убивает доступ. ClaudeBot — это только для обучения. Он не влияет на индекс. Но Claude-SearchBot и Claude-User — они отвечают за то, чтобы вы были в ответах. Закрыть их — значит закрыть себя. И это делают часто. Страница, которую вы не хотите, чтобы её читали ИИ, — может быть и в поиске. Но если вы не хотите, чтобы её читали, — вы не хотите, чтобы её видели люди.

Нет смысла блокировать ботов, если вы хотите, чтобы вас нашли. И нет смысла блокировать, если вы не уверены, что это нужно. Лучше открыть — и контролировать. Запрет на всех — это не защита. Это самоуничтожение.

Кто это касается — и как понять

Если вы продаете в интернете, это касается вас. Даже если вы не думаете об ИИ. Клиенты задают вопросы, и ИИ отвечает. И если ваш сайт не в ответе — вы не в игре. Проверить можно по трем признакам: нет запрета в robots.txt для Claude-SearchBot и Claude-User, нет блокировки в WAF или CDN, и страница есть в индексе Brave. Если хотя бы один пункт — нет — ваш сайт не попадает в ответы.

Не важно, сколько у вас трафика. Не важно, как вы выглядите. Если Claude не видит вас — вы не видны. И это не про будущее. Это про сейчас. И если вы не проверили — вы уже упустили клиентов.

Что с этим делать — по шагам

Начните с robots.txt. Проверьте, нет ли запрета для Claude-SearchBot и Claude-User. Даже если вы запрещаете ClaudeBot, оставьте доступ для двух других. Используйте Allow: / для них. Потом проверьте WAF и CDN — не режут ли они ботов, несмотря на robots.txt. Затем проверьте, есть ли заходы в логах сервера от этих ботов. Потом — индекс Brave: найдите страницу в search.brave.com. И последнее — дайте Claude ссылку и попросите пересказать. Если не вышло — вернитесь к началу.

Это не SEO. Это не реклама. Это — доступ. И он должен быть. Без него вы не в ответах. Без ответов — вы не в бизнесе.

Что мы с этим делаем

Мы в Cetera работаем с сайтами, которые не просто существуют — они нужны. Клиенты более чем в 30 отраслях. И мы понимаем: каналы меняются быстрее сайтов. Сайт под прошлую расстановку каналов теряет не позиции — он теряет выручку. Поэтому мы не просто делаем сайты. Мы делаем так, чтобы они были доступны там, где ищут клиенты — даже если это не тот поисковик, который вы знали.

Если хотите понять, как это выглядит у вас, — давайте обсудим вашу задачу.

Это часть нашей работы — Публикация. Ежедневное наполнение: добавление товаров и категорий, карточки и описания, загрузка файлов и медиа, перенос контента, корректура, публикация по редакплану, контроль качества и SEO-атрибуты. Публикация

Как сайт попадает в ответы Claude: доступ важнее контента

Автор: Святослав Семенов из Cetera Labs

← Все материалы