Более трети новых веб-страниц содержат признаки ИИ

Половина новых страниц уже пахнет нейросетью — а JS-навигация прячет их от ИИ-поиска

Для сеошника и разработчика это значит одно: правила игры прямо сейчас переписываются, и твой сайт либо в новой выборке, либо нет.

Где ломается индексация

Search Engine Land прогнал контролируемый эксперимент на бразильском каталоге (~2 400 страниц, 41 день логов). Часть внутренних ссылок отдавалась чистым HTML, часть — клиентским JavaScript. Дальше — чистая боль, если ты делаешь SPA без SSR.

• GPTBot за первые сутки прошёл все 759 HTML-страниц до самого низа иерархии. В JS-группе дошёл до 10 секционных страниц — и встал. До division-страниц не добрался ни одной.
• ClaudeBot повторил паттерн через день: глубокий HTML-обход, жёсткий стоп на JS-границе.
• GoogleOther дошёл до первой JS-страницы через 54 минуты после запуска, Googlebot — через 9,9 часа. Оба продолжили копать глубже — то есть рендерили JS и шли по инжектированным ссылкам.
• После трёхдневного burst-а discovery просел примерно на 90% у обеих групп, цифры зафиксировались.

Гипотеза, которая подтверждается логами: краулеры ИИ-ассистентов — это не Googlebot. Они не рендерят JS так, как привыкли вебмастера с 2019-го. Контент качественно оптимизирован? Отлично. Но бот до него просто не дошёл. Это твоя потерянная видимость в новой выдаче — не позиции, а сам факт присутствия.

Чек-лист: что внедрить сегодня

Хватит гипотез — пора проверить и катить фикс. Бери и делай по пунктам.

1. Сними карту краулинга. Выгрузи логи сервера за последние 30 дней и раздели user-agent'ы на Googlebot, GPTBot, ClaudeBot, PerplexityBot, Bingbot. Посчитай, сколько URL из твоего sitemap каждая группа реально открыла.

2. Найди «слепые» разделы. Открой страницы, до которых массово не доходят ИИ-боты. Проверь: ссылки внутри — <a href> в HTML или их инжектит JS-бандл? Если второе — ты в красной зоне.

3. Переведи ключевую навигацию в HTML. Меню, фильтры категорий, пагинация, «хлебные крошки» — всё это должно жить в исходнике. Динамику оставь на контент, но не на discovery-путь.

4. Дай серверный пререндер для JS-роутов. Если у тебя SPA — отдавай ИИ-ботам prerendered HTML через отдельный middleware по списку UA. Не забудь проверить, что canonical и hreflang в пререндере совпадают с пользовательской версией.

5. Закрой лишние пути обхода. Внутренний поиск, теги, облако фильтров — закрывай от индексации ИИ-ботов, если они не несут коммерческого трафика. Иначе они съедают бюджет краула, а профита ноль.

6. Замерь повторно через 2 недели. Цель — чтобы GPTBot и ClaudeBot дошли до тех же глубин, что и Googlebot. Если не дошли — это твой приоритет на ближайший спринт.

Параллельный фронт работ — регулярно ревизировать стандарты, по которым живёт твой сайт: как это делают строители с 373 новыми ГОСТами, так и ты пересобирай свои технические требования. SEO сегодня — это не про мета-теги, а про физическую достижимость страницы. Бот не дошёл — позиции нет, лидов нет, профит ноль. Закрывай чек-лист до конца дня.