SEO-проблемы — это не про технику, а про выручку
Хабр пишет, что страницы на Next.js не попадают в индекс из-за особенностей рендеринга и отдачи метаданных. Это не ошибка разработки — это разница между тем, что видит пользователь, и тем, что видит робот.
Сайт не попадает в поисковики не потому, что его плохо написали, а потому, что он не отвечает на вопрос, который задаёт робот. Когда робот видит 200 вместо 404, или title в body, или canonical в скрипте — он не понимает, где реальная страница. И не индексирует. И не показывает. И не приносит клиентов.
Многие думают, что если сайт работает, значит, он виден. Но робот не видит интерфейс. Он видит ответ сервера. И если в нём нет нужных тегов — он не пойдёт дальше. А значит, не будет показывать. Потеря одного клиента в поиске — это потеря денег, которые не вернутся.
Я считаю, что в этом нет простых решений. Потому что всё, что делает сайт, должно быть видно роботу — и в нужном виде, и в нужный момент. Иначе он просто не знает, где искать.
Когда робот не видит, где страница, он не может её индексировать. А значит, не показывает. А значит, не приносит клиентов.
Что видит робот — и почему это важно
Робот поисковика не видит страницу в браузере. Он видит ответ сервера. А потом — результат рендеринга. Эти два состояния — разные. Пользователь видит готовую страницу. Робот — сначала HTML, потом JavaScript. И если в первом ответе нет ссылок, метаданных, статусов — он не пойдёт дальше. Даже если в браузере всё красиво.
Google и Яндекс смотрят на ответ сервера до рендеринга. Если там нет тега noindex, и код 200 — робот запускает JavaScript. Но если там уже есть noindex — он не будет ждать. И не рендерить. Это критично. Потому что метаданные, которые меняются скриптом, могут быть не видны вообще.
Яндекс ещё сильнее: его робот может не выполнять скрипты вообще. Или выполнять, но не доверять. Поэтому лучше не полагаться на JavaScript. Отдавать всё в HTML. Особенно title, description, canonical. Потому что если робот их не видит — он не знает, где страница.
Иногда даже не в браузере, а в логах — видно, что робот получил 200, но страница не появилась в индексе. Потому что метаданные не там, где должны быть. Или дублируются. Или не отдают.
Как было раньше — и что изменилось
Раньше всё было про HTML. Если в исходном коде были title, link, canonical — всё было хорошо. Робот видел. Индексировал. Позиции росли. Это был простой путь.
Теперь — всё иначе. Сайты на Next.js, React, Angular — генерируют страницы динамически. И робот не видит готовую страницу сразу. Он видит ответ сервера. А потом — результат рендеринга. И если между ними нет связи — всё идёт не так.
Google теперь рендерит страницы. Но не сразу. Он сначала смотрит на ответ сервера. И если там нет нужного — не будет ждать. А значит, не индексирует. И Яндекс — с его бета-режимом — ещё более осторожен. Он может не выполнять JavaScript вообще. Или не доверять ему.
Теперь не важно, как красиво выглядит сайт. Важно, как он отвечает на запрос робота. И если ответ не соответствует ожиданиям — сайт не попадёт в индекс. И не будет виден.
Кого это касается — и как понять, что это про ваш бизнес
Это не про технических специалистов. Это про владельцев магазинов, продавцов на маркетплейсах, руководителей, чья выручка зависит от поиска. Если вы не видите трафик из поиска — это может быть не из-за недостатка рекламы, а из-за того, что робот не видит ваш сайт.
Если у вас Next.js, React, или любой фреймворк, который генерирует страницы динамически — и вы не проверяли, что робот видит — это про вас. Особенно если вы видите, что страницы не индексируются, или что в поиске нет нужных товаров.
Если вы не знаете, где лежат title, canonical, meta — и не проверяли их в ответе сервера — это про вас. Если у вас есть динамические страницы, и вы не уверены, что они отдают 404 — это про вас.
Когда робот не видит, где страница — он не показывает. А значит, не приносит клиентов.
Что делать — если робот не видит ваш сайт
Проверьте ответ сервера. Не в браузере, а через curl или Search Console. Убедитесь, что там есть правильные title, description, canonical. И что они в , а не в body.
Убедитесь, что ссылки — это . Не onClick. И что нет #/products. Используйте History API. Иначе робот не пойдёт.
Проверьте, что у несуществующих страниц — 404, а не 200. И что noindex не в HTML, если вы не хотите индексировать. Иначе робот не будет ждать.
Проверьте, что метаданные отдаются в HTML, а не через скрипт. Особенно если вы используете Яндекс. Или если у вас динамические страницы — убедитесь, что они не стримятся, если нужно. Или отключите стриминг для ботов.
Проверьте, что у всех ботов — один canonical. И что нет дублей. Иначе робот не знает, где реальная страница.
Что мы с этим делаем — и как это работает
Мы работаем с клиентами более чем в 30 отраслях. И каждый раз, когда сайт не виден в поиске, мы смотрим на ответ сервера. Потому что это — не о дизайне. Это о том, что робот видит.
Мы проверяем, где лежат title, description, canonical. И что они в . И что у несуществующих страниц — 404. И что ссылки — это . И что нет дублей.
Мы не полагаемся на JavaScript. Особенно для Яндекса. Мы отдаём всё в HTML. Потому что робот может не выполнять скрипты. Или не доверять им.
Мы проверяем, что робот видит то, что должен видеть. И что он может пойти дальше. Иначе сайт не будет показываться. И не будет приносить клиентов.
Если хотите понять, как это выглядит у вас — давайте обсудим вашу задачу.
Мы делаем такие проекты: Корпоративные сайты. Поддерживаем, продвигаем, внедряем типовые и разрабатываем с нуля корпоративные сайты. Лендинг. Корпоративные сайты
Автор: Святослав Семенов из Cetera Labs