Индексация сайта: что это и как её починить
Прежде чем спорить о позициях, проверьте, есть ли страницы в базе поисковика. Восемь причин, по которым их там нет, и порядок действий по каждой.
- Пока страницы нет в индексе, позиций не существует. Проверять надо это, а не ключевые слова.
- Восемь причин покрывают почти все случаи — от запрета в robots.txt до статуса «малоценная страница».
- «Малоценная» лечится содержанием, а не переобходом. Можно бесконечно просить робота зайти — он зайдёт и снова исключит.
- Ускорить обход можно картой сайта, ссылками и IndexNow, но качество страницы это не заменяет.
Содержание статьи
Индексация — попадание страницы в базу поисковика. Пока страницы нет в индексе, она не может показываться в выдаче ни на каком месте.
Это первое, что нужно проверять, если сайта нет в поиске. Люди спорят о ключевых словах и позициях, когда у них в индексе три страницы из сорока.
Как проверить, что в индексе
Точный способ. Отчёты в Яндекс.Вебмастере и Google Search Console. Там видно каждый адрес, его статус и причину исключения — это единственный источник, который объясняет «почему».
Быстрый способ. Введите в поиске site:ваш-сайт.ru. Получите приблизительное число страниц в базе. Точности от него ждать не стоит, но порядок величины он показывает.
Первая диагностика за десять минут
- Посмотрите в вебмастере: сколько страниц загружено и сколько в поиске.
- Сравните с реальным числом страниц на сайте.
- Откройте список исключённых и посмотрите причины — они там написаны прямым текстом.
- Проверьте три-четыре важные страницы поимённо через инструмент проверки адреса.
Разрыв между «загружено» и «в поиске» — нормальное явление. Тревожный признак — когда в поиске единицы, а загружены сотни.
- 1Запретыrobots.txt, мета-тег noindex, canonical на чужую страницу
- 2ДостижимостьЕсть ли внутренние ссылки и адрес в карте сайта
- 3СодержаниеНе признана ли страница малоценной — это чинится текстом
- 4ТехникаСкорость ответа сервера и дубли адресов
- 5ВремяНовому домену на полную индексацию нужны недели
Что чиню на своих сайтах
Разбираю в канале живые случаи: что показал вебмастер, в чём была причина, как быстро вернулось.
Восемь причин, по которым страниц нет в индексе
1. Запрет в robots.txt
Самая частая и самая обидная. Сайт разрабатывали с закрытой индексацией и забыли открыть при запуске.
Проверка: откройте ваш-сайт.ru/robots.txt и убедитесь, что там нет Disallow: / для всех роботов. Подробно про файл — в статье robots.txt и sitemap.xml.
2. Мета-тег noindex
То же самое, но на уровне страницы. Ищите в коде <meta name="robots" content="noindex">. Частая история при переносе сайта с тестового домена.
3. Страница закрыта канониклом на другую
Тег canonical говорит поисковику: «настоящая версия — вот эта». Если он по ошибке указывает на другую страницу, ваша в индекс не попадёт.
Проверка: в коде страницы <link rel="canonical" href="..."> должен указывать на неё же.
4. Нет ссылок на страницу
Робот ходит по ссылкам. Страница, на которую не ведёт ни одна ссылка с сайта и которой нет в карте сайта, для него не существует.
Лечится внутренней перелинковкой и картой сайта.
5. Страницу сочли малополезной
Яндекс прямо пишет: «малоценная или маловостребованная страница». Это не техническая проблема, а содержательная.
Типичные случаи: текст на 500 знаков, страница фильтра без содержания, карточка-дубль, автоматически сгенерированная страница без пользы.
Чем это лечится и чем не лечится
Не лечится: отправкой на переобход, пингами, ссылками. Вы можете сколько угодно просить поисковик зайти — он зайдёт, посмотрит и снова исключит. Лечится: содержанием. Либо страница отвечает на реальный запрос лучше, чем есть в топе, либо её не должно быть. Иногда правильный ответ — удалить сотню тонких страниц и оставить двадцать сильных.
6. Дубли
Один и тот же контент по разным адресам: с www и без, со слэшем и без, с параметрами ?utm_source=. Поисковик выбирает одну версию сам, и не всегда ту, которую вы хотели.
Лечение: переадресация на один основной вариант, канониклы на чистый адрес, запрет параметрических адресов в robots.txt.
7. Сайт медленно отвечает
У робота ограниченный бюджет на обход. Если сервер отвечает по три секунды, робот успевает обойти меньше страниц за визит.
Особенно заметно на сайтах от сотни страниц.
8. Сайт слишком новый
Иногда всё в порядке, просто прошло мало времени. Новому домену на полную индексацию нужны недели.
Как ускорить
Порядок по эффективности:
- Карта сайта. Актуальная, без закрытых и несуществующих страниц, отправленная в оба вебмастера.
- Внутренние ссылки. Каждая страница должна быть достижима за два-три клика с главной.
- Ручная отправка на переобход. В вебмастерах есть инструмент. Работает точечно, лимит — порядка десятка адресов в сутки.
- Уведомление о новых адресах (IndexNow). Поддерживают Яндекс и Bing. Ускоряет обход, но не заменяет качество страницы.
- Скорость сервера. Чем быстрее ответ, тем больше страниц робот успевает обойти.
Чего не существует
Регулярно спрашивают про «ускоренную индексацию в Google через API». Такого инструмента для обычных страниц нет: Google Indexing API работает только с вакансиями и прямыми трансляциями. Для обычных страниц остаётся ручная отправка в Search Console — точечно, не потоком. Всё, что продаётся под видом «мгновенной индексации», в лучшем случае делает то же самое руками.
Разберись, почему страница [адрес] может не попадать в индекс. Проверяй
фактически, не рассуждай в общем виде.
Что сделать:
1. Открой саму страницу: код ответа, размер текста, есть ли мета-тег robots,
на что указывает canonical, есть ли заголовок H1.
2. Открой /robots.txt и проверь, не подпадает ли адрес под Disallow.
3. Открой карту сайта и скажи, есть ли в ней этот адрес.
4. Проверь, ведут ли на страницу внутренние ссылки: пройди по главной
и разделам, посчитай, за сколько кликов до неё можно дойти.
5. Проверь дубли: открой варианты адреса с www и без, со слэшем и без,
с ?utm_source=test — что отвечает сервер в каждом случае.
6. Замерь время ответа страницы.
Ответь так: «блокирует прямо сейчас» / «мешает» / «в порядке» — по каждому
пункту, с фактическим значением. В конце — что делать первым и почему.
Если проверить что-то не смог, напиши об этом прямо.Что делать по порядку
Если страниц нет в поиске
- Проверьте robots.txt — нет ли запрета на весь сайт.
- Проверьте мета-тег robots на конкретной странице.
- Проверьте canonical — указывает ли он на саму страницу.
- Убедитесь, что на страницу ведут внутренние ссылки и она есть в карте сайта.
- Посмотрите причину исключения в вебмастере — она написана прямым текстом.
- Если причина «малоценная» — переписывайте страницу, а не давите на переобход.
- Отправьте на переобход и подождите. Индексация не мгновенная даже когда всё правильно.
Дальше по теме: настройка robots.txt и карты сайта и подключение вебмастеров, без которых вы работаете вслепую.
- Начинайте диагностику со сравнения: сколько страниц на сайте против того, сколько в поиске.
- Причина исключения написана в вебмастере прямым текстом — читайте её, а не гадайте.
- Страница без единой внутренней ссылки для робота не существует.
- Дубли (www, слэш, utm-метки) — тихий убийца индексации: лечатся переадресацией и канониклом.
- «Мгновенной индексации» не бывает: всё, что так продаётся, делает то же самое руками.
Гайд «SEO-машина»: как собрать её на ИИ-агентах
Карта из десяти систем: что делает каждая и как собрать такую же — с любым ИИ-агентом, Claude Code или Codex. Бесплатно, отдаёт бот в Telegram.
Частые вопросы
Как проверить, есть ли страница в индексе?
Самый точный способ — отчёты в Яндекс.Вебмастере и Google Search Console: там видно статус конкретного адреса и причину исключения. Быстрая проверка — поиск по запросу site:ваш-сайт.ru, но она даёт приблизительное число.
Сколько времени занимает индексация нового сайта?
От нескольких дней до нескольких недель. Google обычно быстрее, Яндекс медленнее. Ускорить можно отправкой карты сайта и ручной отправкой ключевых адресов на переобход, но гарантий это не даёт.
Почему страница была в индексе и выпала?
Частые причины: страницу сочли малополезной, появился дубль, изменился адрес без переадресации, сайт стал медленно отвечать. Точную причину показывает отчёт вебмастера по конкретному адресу.
Что такое «малоценная или маловостребованная страница»?
Статус Яндекса, означающий, что страница признана недостаточно полезной, чтобы держать её в базе. Обычно это тонкие страницы: пустые фильтры, дубли, тексты на 500 знаков без содержания. Лечится не техникой, а содержанием.
Помогает ли IndexNow?
Это уведомление поисковику о том, что появился новый или изменённый адрес. Яндекс и Bing его поддерживают, Google — нет. Уведомление ускоряет обход, но не гарантирует ни индексацию, ни позиции: если страница слабая, её всё равно не возьмут.
10 лет в маркетинге и онлайн-образовании. Запускаю проекты в одиночку на Claude Code и показываю экономику как есть. Все методы из блога сначала обкатываю на своих проектах и только потом описываю.