Robots.txt для SEO: полное руководство

Robots.txt это файл из четырёх строк, который может тихо стоить вам трафика или сберечь ваш краулинговый бюджет. В этом руководстве разбираются синтаксис, который действительно важен, блокировки, чаще всего вредящие позициям, что на самом деле означает краулинговый бюджет и как проверять каждое изменение перед публикацией.

5 мин чтенияРазделов: 722 июня 2026 г.

Автор

Kostadin Stamboliev

Основатель и имагинатор

Основатель и имагинатор Pineido. Занимается ИТ-консалтингом, разработкой приложений и сайтов, техническим SEO, ИИ и автоматизацией. Выпускает рабочий код 30-дневными спринтами с фиксированным объёмом и понятной ответственностью.

LinkedIn

Что robots.txt делает (и чего он не может)

Robots.txt находится в корне каждого домена, например https://example.com/robots.txt. Он сообщает соблюдающим правила краулерам, какие URL им разрешено запрашивать. Google говорит об этом прямо: файл предназначен для того, чтобы не перегружать ваш сайт запросами, и это не механизм для того, чтобы держать страницу вне Поиска.

Эта одна фраза снимает большую часть путаницы вокруг robots.txt. Сканирование это когда бот запрашивает URL. Индексация это когда Google сохраняет этот URL, чтобы ранжировать его. Robots.txt управляет только сканированием. Страница, которую вы запретили, всё равно может появиться в результатах, обычно как голый URL без сниппета, если на неё ссылаются другие страницы. Чтобы держать страницу вне Поиска, вам нужен метатег noindex, заголовок X-Robots-Tag, защита паролем или удаление, но никогда не строка disallow.

Ещё одно ограничение: файл носит рекомендательный характер. Googlebot и другие добросовестные краулеры подчиняются ему, но враждебный скрапер может полностью его игнорировать. Robots.txt это инструмент управления трафиком, а не средство безопасности. Всё, что должно оставаться приватным, должно находиться за аутентификацией.

Синтаксис, который действительно важен

Файл robots.txt состоит из групп правил. Каждая группа начинается с одной или нескольких строк User-agent, за которыми следуют правила Allow и Disallow. Минимальный пример:

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xml

Имена полей не чувствительны к регистру (User-agent равно user-agent), но значения путей чувствительны: /Admin и /admin это разное. Пути указываются относительно корня и должны начинаться со слеша. Комментарии начинаются с #.

Google, Bing и другие крупные системы поддерживают два подстановочных знака: * соответствует любой последовательности символов, а $ закрепляет конец URL. Так Disallow: /*.pdf$ блокирует каждый URL, оканчивающийся на .pdf. Crawl-delay часто указывается в старых руководствах, но Google его игнорирует; Bing и Yandex по-прежнему его читают. Держите файл в UTF-8 и под 500КБ, это жёсткий предел Google; всё, что сверх этого, игнорируется.

Приоритет: решает не порядок, а длина

Самая частая ошибка синтаксиса это предполагать, что правила читаются сверху вниз. Это не так. Когда несколько правил соответствуют URL, побеждает правило с самым длинным путём, а при точном равенстве Allow побеждает Disallow. Это закреплено в RFC 9309, формальном стандарте протокола исключения для роботов.

Пример. Для URL /home/search/shirts с такими правилами:

Disallow: /home
Allow: *search*
Disallow: *shirts

URL доступен для сканирования, потому что соответствующий путь Allow длиннее соответствующих путей Disallow. Перестановка строк ничего не меняет.

Есть и вторая ловушка с user agent. Google объединяет в одну все группы, которые соответствуют конкретному боту, но никогда не объединяет именованную группу с глобальной группой User-agent: *. Поэтому в тот момент, когда вы добавляете блок User-agent: Googlebot, Googlebot перестаёт читать ваши правила User-agent: *. Если вы нацеливаетесь на конкретного бота, эта группа должна повторять каждое правило, которому вы по-прежнему хотите, чтобы он следовал.

Блокировки, которые тихо вредят позициям

Большая часть вреда от robots.txt возникает из-за чрезмерной блокировки, а не из-за недостаточной. Худший виновник это запрет CSS и JavaScript. Google рендерит страницы, чтобы понимать их, и его собственное руководство прямолинейно: если robots.txt блокирует файлы JS, CSS и изображений, которые используют ваши страницы, это напрямую вредит тому, насколько хорошо Google рендерит и индексирует ваш контент, и может привести к более низким позициям. Старый миф краулингового бюджета о блокировке ресурсов был отправлен в отставку много лет назад.

Нюанс от Мартина Сплитта из Google: блокировка скрипта становится реальной проблемой, только если контент, который видит пользователь, зависит от него. Заблокированный роботсом тег аналитики или виджет чата безвреден. Заблокированный роботсом бандл, который вставляет ваш основной текст, означает, что Google видит пустую страницу.

Второй тихий провал это использование robots.txt для деиндексации. Запретите URL, и Google никогда не сможет просканировать его, чтобы обнаружить тег noindex, который вы добавите позже, поэтому страница останется в индексе. Если вы хотите, чтобы страница исчезла, оставьте её доступной для сканирования и отдавайте noindex. Сплошной Disallow: /, оставшийся от сборки на staging, это катастрофическая версия этого, и она деиндексирует целые сайты после запуска.

Идеи для операционной работы каждую неделю

Присоединяйтесь к руководителям сервисных компаний, которые каждую неделю получают одну практическую идею об операциях, автоматизации и росте.

Проверяем, что вы человек. Отправить можно будет через мгновение.

Без спама. Отписаться можно в любой момент.

Вы подписаны! Следующий выпуск придёт на вашу почту.

Краулинговый бюджет: что это и что может robots.txt

Краулинговый бюджет это сколько URL Googlebot заберёт с вашего сайта в заданном окне. Для сайтов менее чем с несколькими тысячами URL это редко имеет значение; Google сканирует их полностью. Это становится реальным на крупных каталогах, маркетплейсах и любом сайте, который генерирует URL комбинаторно.

Классическая трата это фасетная навигация и внутренний поиск. Фильтры вроде ?color=red&size=l&sort=price размножаются в почти бесконечные URL с малой уникальной ценностью, а страницы результатов внутреннего поиска могут порождаться бесконечно. Гэри Иллиес из Google неоднократно предупреждал блокировать URL действий (добавить в корзину, вход, оформление заказа, комбинации фильтров), потому что иначе Googlebot будет сканировать их бесконечно, даже несуществующие комбинации.

Исправление факта, который многие руководства передают неверно: блокировка страниц не передаёт освободившийся бюджет вашим важным страницам. Google перераспределяет его, только если ваш сервер уже достигал своего предела обслуживания. Robots.txt останавливает трату; он не создаёт ёмкость для сканирования. Настоящие рычаги для большего сканирования это более быстрые, здоровые серверы и более качественный, по-настоящему уникальный контент.

Практический стартовый шаблон

Большинство сайтов сервисного бизнеса и контентных сайтов хотят чего-то близкого к этому, скорректированного под реальные пути:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

Заметки. Перечислите каждую XML-карту сайта с абсолютным URL; можно использовать несколько строк. Не блокируйте /wp-content, /assets или любой каталог, содержащий CSS, JS или изображения. Будьте точны с правилами для параметров, потому что небрежный Disallow: /*? может вырубить чистые URL, которые случайно несут параметр отслеживания. Держите файл простым; сложные нагромождения правил с подстановочными знаками это место, где прячется случайная чрезмерная блокировка. Каждому поддомену нужен свой robots.txt, и каждому протоколу тоже, поэтому http и https считаются отдельными файлами.

Тестирование с GSC и curl перед публикацией

Проверяйте две вещи при каждом изменении: что файл, который получает Google, именно тот, что вы задумали, и что реальные URL разрешаются так, как вы ожидаете.

Начните с curl, чтобы увидеть точно, что получают краулеры, без сюрпризов от кэша или CDN: curl -A "Googlebot" https://example.com/robots.txt. Подтвердите, что статус 200, тип контента text/plain, а тело совпадает с вашим источником. Robots.txt, который возвращает 500, заставляет Google считать весь сайт запрещённым, пока он не восстановится, поэтому здоровье сервера здесь важно.

В Google Search Console старого тестировщика robots.txt больше нет. Используйте отчёт robots.txt в разделе Настройки, чтобы подтвердить последнюю полученную Google версию и любые предупреждения разбора. Чтобы проверить конкретный URL, вставьте его в инструмент проверки URL и прочитайте раздел сканирования; он подскажет, заблокирован ли URL. Чтобы найти существующий ущерб, откройте отчёт Страницы и отфильтруйте по Заблокировано в файле robots.txt. Помните, что GSC тестирует только Googlebot, поэтому для Bing или ИИ-краулеров проверяйте отдельно. Эта дисциплина тестирования, применяемая перед запусками и миграциями, это ровно тот вид защиты, который спринт технического SEO с фиксированным объёмом встраивает в ваш процесс релиза, чтобы случайный disallow никогда не попал в продакшен.

Готовы к запуску?

Расскажите, где вы застряли. Мы разберёмся и пришлём конкретную рекомендацию в течение одного рабочего дня.

Часто задаваемые вопросы

Можно ли использовать robots.txt, чтобы держать страницу вне Google?

Нет. Robots.txt управляет сканированием, а не индексацией. Запрещённая страница всё равно может быть проиндексирована и показана как URL, если на неё ссылаются другие страницы, а блокировка не даёт Google никогда увидеть тег noindex. Чтобы убрать страницу из Поиска, оставьте её доступной для сканирования и используйте метатег noindex или заголовок X-Robots-Tag, защитите её паролем или удалите.

Плохо ли блокировать CSS и JavaScript в robots.txt?

Да, в большинстве случаев. Google рендерит страницы, чтобы понимать их, и говорит, что блокировка файлов CSS, JS и изображений, которые используют ваши страницы, напрямую вредит рендерингу и индексации и может понизить позиции. Единственное безопасное исключение это скрипты, которые не влияют на контент, видимый пользователям, например виджет чата. Никогда не блокируйте бандлы, которые загружают ваш видимый текст.

Применяются ли правила robots.txt в том порядке, в котором они записаны?

Нет. Когда несколько правил соответствуют URL, побеждает правило с самым длинным соответствующим путём, а при равенстве Allow побеждает Disallow. Это следует RFC 9309. Перестановка строк не меняет поведение, поэтому разрешайте конфликты, регулируя точность путей, а не позицию.

Освобождает ли блокировка страниц в robots.txt краулинговый бюджет?

Только иногда. Блокировка малоценных URL останавливает трату, но Google перераспределяет освободившийся бюджет на другие страницы, только если ваш сервер уже достигал своего предела обслуживания. Для большинства сайтов более быстрые серверы и более качественный уникальный контент дают для частоты сканирования больше, чем одна лишь блокировка.

Как тестировать изменения robots.txt в 2026 году?

Используйте curl с user agent Googlebot, чтобы подтвердить, что файл возвращает 200 и точно то содержимое, которое вы ожидаете. В Google Search Console проверьте отчёт robots.txt в разделе Настройки на предмет полученной версии и предупреждений, используйте инструмент проверки URL для тестирования конкретных URL и отфильтруйте отчёт Страницы по Заблокировано в файле robots.txt, чтобы поймать существующие проблемы. Старый отдельный тестировщик объявлен устаревшим.

Что мне на самом деле стоит блокировать в robots.txt?

Блокируйте малоценные URL большого объёма, которые создают бесконечное пространство сканирования: комбинации фасетных фильтров, результаты внутреннего поиска, параметры сортировки и пагинации, а также страницы действий, такие как корзина, оформление заказа, вход и аккаунт. Всегда оставляйте доступными для сканирования CSS, JS, изображения и любую страницу, которую вы хотите проиндексировать.