robots.txt и sitemap.xml: настройка без ошибок

Два файла в корне сайта, которые поисковый робот читает первыми. robots.txt говорит, куда можно ходить. sitemap.xml — список страниц, которые вы хотите видеть в поиске.

Оба маленькие, оба легко сделать и оба входят в тройку самых частых причин, по которым сайта нет в поиске.

robots.txt: что это и как работает

Текстовый файл в корне: ваш-сайт.ru/robots.txt. Робот читает его до обхода страниц.

Базовый рабочий вариант для обычного сайта:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search/
Disallow: /*?utm_
Disallow: /*?from=

Sitemap: https://ваш-сайт.ru/sitemap.xml

Разбор строк:

• User-agent: * — правила для всех роботов.
• Disallow: — что запрещено обходить.
• Sitemap: — адрес карты сайта, полный, с протоколом.

Что закрывать, а что нет

Закрывать:

• служебные разделы: админка, корзина, личный кабинет;
• внутренний поиск по сайту (генерирует бесконечные адреса);
• адреса с метками и параметрами: ?utm_, ?from=, сортировки;
• технические файлы и черновики.

Не закрывать:

• CSS и JavaScript — робот должен видеть страницу так же, как человек;
• картинки, если хотите трафик из поиска по картинкам;
• страницы пагинации — их лучше оставить открытыми, а дубли решать канониклами.

Disallow против noindex

Разница неочевидная, и путаница в ней даёт странные результаты.

Ключевой момент: если страница закрыта в robots.txt, робот не может прочитать её содержимое — а значит, не увидит и мета-тег noindex. Поэтому закрывать одну и ту же страницу обоими способами бессмысленно: работать будет только первый.

Правильно: хотите убрать страницу из поиска — ставьте noindex и оставляйте её открытой для обхода. Хотите сэкономить бюджет обхода на мусорных адресах — Disallow.

sitemap.xml: карта сайта

Список адресов, которые вы хотите видеть в поиске, в формате XML.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://ваш-сайт.ru/</loc>
    <lastmod>2026-08-01</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://ваш-сайт.ru/uslugi/</loc>
    <lastmod>2026-07-28</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Обязателен только <loc>. lastmod полезен — он подсказывает роботу, что страница изменилась. changefreq и priority поисковики воспринимают как пожелание, а не команду.

Третий пункт — источник тихих проблем. Если в карте site.ru/page, а сайт отдаёт site.ru/page/, робот получает переадресацию на каждом адресе. Работать будет, но медленнее и с потерей доверия к карте.

Проверь два файла на сайте [адрес] и скажи, не закрыл ли я лишнего.

1. Открой /robots.txt. Разбери его построчно и скажи простым языком, что
   именно закрыто. Отдельно проверь: не закрыт ли весь сайт, не закрыты ли
   CSS и JS, указан ли адрес карты сайта.
2. Открой карту сайта. Посчитай адреса. Возьми 10 случайных и проверь
   каждый: код ответа, нет ли переадресации, не закрыт ли он в robots,
   есть ли на странице noindex.
3. Сверь вид адресов: со слэшем на конце или без — одинаково ли везде.
4. Проверь, попадают ли в карту адреса с параметрами и метками.

Отдай таблицу «что проверял → что нашёл → критично или нет» и список правок
в порядке важности. Показывай реальные строки из файлов, а не пересказ.

Проверка после настройки

1. Откройте ваш-сайт.ru/robots.txt — файл отдаётся, кодировка читаемая.
2. Откройте ваш-сайт.ru/sitemap.xml — файл отдаётся, адреса на месте.
3. В Яндекс.Вебмастере проверьте robots.txt встроенным инструментом: он покажет, какие страницы под запретом.
4. Отправьте карту в обе панели вебмастеров.
5. Через неделю проверьте, сколько адресов из карты попало в индекс.

Если после этого страницы всё равно не в поиске, причина не в этих файлах — разбор остальных причин в статье про индексацию.

Отдельно про закрытие сайта на время разработки

Частая ситуация: сайт делается, показывать его рано. Три способа, по надёжности:

1. Пароль на весь сайт (базовая HTTP-аутентификация) — самый надёжный, робот физически не зайдёт.
2. Мета-тег noindex на всех страницах — надёжно, но требует дисциплины при запуске.
3. Disallow: / в robots.txt — работает, но адреса всё равно могут попасть в выдачу без описания.

И главное: заведите себе напоминание снять запрет в день запуска. Это самая частая причина, по которой новый сайт полгода стоит без трафика.