В чём разница между noindex и disallow в robots.txt, и когда следует использовать каждый из них?

3 мин чтения22 июня 2026 г.

  1. Две директивы решают разные задачи, и именно в этом корень большей части путаницы. Disallow в robots.txt управляет сканированием, он сообщает поисковым системам, какие URL им разрешено получать. Согласно собственной документации Google, robots.txt существует главным образом для того, чтобы не перегружать ваш сайт запросами, и он явно не является механизмом для удержания страницы вне Google. Правило noindex управляет индексацией, оно сообщает поисковым системам полностью убрать страницу из результатов. Поэтому вопрос никогда не сводится просто к disallow или noindex, он в том, какого результата вы на самом деле хотите.

  2. Используйте noindex, когда вам нужна страница, до которой пользователи могут добраться, но которая никогда не должна появляться в результатах поиска, например страницы благодарности, страницы результатов внутреннего поиска, подтверждения закрытых загрузок или малосодержательные комбинации фильтров. Noindex задаётся либо как мета-тег robots в заголовке страницы, либо как HTTP-заголовок ответа X-Robots-Tag. Как только Googlebot сканирует страницу и считывает правило, страница убирается из результатов независимо от того, сколько других сайтов на неё ссылаются. Именно эта надёжность объясняет, почему noindex, а не disallow, является правильным инструментом для удержания страниц вне поиска.

  3. Используйте disallow в robots.txt, когда хотите вообще не дать сканерам получать URL, обычно чтобы беречь краулинговый бюджет или не пускать ботов в разделы, не дающие ценности для поиска, такие как пути администрирования, URL с фасетными параметрами, тестовые каталоги или крупные медиафайлы, которые вы не хотите отдавать. Но чётко понимайте ограничение, URL под disallow всё равно может попасть в индекс, если на него ссылаются другие страницы. Google может показать голый URL со сниппетом вроде описание для этого результата недоступно из-за файла robots.txt этого сайта. Disallow скрывает содержимое, но не обязательно само попадание в список.

  4. Самая разрушительная ошибка, и та, что мы постоянно встречаем во время технических аудитов, это применение одновременно disallow и noindex к одному и тому же URL. Они конфликтуют. Чтобы noindex сработал, Google должен просканировать страницу, чтобы увидеть тег. Если robots.txt блокирует сканирование, Googlebot никогда не считает noindex, и страница может оставаться в индексе сколь угодно долго. Если вы хотите, чтобы страница исчезла из поиска, вы должны позволить Google её сканировать, а значит не закрывать её через disallow. Учтите также, что Google не поддерживает директиву noindex, написанную внутри самого robots.txt.

  5. Этот конфликт проявляется в Google Search Console в виде двух разных отчётов. Проиндексировано, несмотря на блокировку в файле robots.txt означает, что Google проиндексировал URL, который не смог просканировать, часто из-за входящих ссылок или записи в карте сайта. Исключено по тегу noindex означает, что правило было увидено и соблюдено, и это здоровое состояние. Чтобы исправить случай заблокировано, но проиндексировано, когда вы действительно хотите убрать страницу, удалите disallow, добавьте или подтвердите noindex, затем запросите переиндексацию. Удаление внутренних ссылок, ведущих на этот URL, или добавление rel=nofollow в качестве подсказки помогает Google перестать его повторно обнаруживать.

  6. HTTP-заголовок X-Robots-Tag это та часть, которую большинство команд упускает. Мета-тег robots работает только внутри HTML, поэтому он не может управлять PDF, изображениями, видео или другими не-HTML файлами. X-Robots-Tag несёт те же правила noindex и nofollow в заголовке ответа и применяется к любому типу файлов. В Apache вы задаёте его для всех PDF с помощью блока Files в .htaccess, в NGINX с помощью add_header внутри совпадения location. Действует то же требование к сканированию, если robots.txt блокирует файл, сканер никогда не увидит заголовок, поэтому правило ничего не делает.

  7. Ещё одну границу стоит обозначить прямо, ни одна из этих директив не является средством безопасности. Robots.txt это публичный файл, который фактически объявляет пути, которые вы не хотите сканировать, а noindex по-прежнему отдаёт всё содержимое любому, человеку или боту, кто запросит URL. Для всего по-настоящему приватного, например данных клиентов, внутренних инструментов или предзапусковых окружений, используйте аутентификацию или защиту паролем. Относитесь к noindex и disallow как к средствам управления видимостью для поисковых систем, но никогда как к контролю доступа.

  8. Чтобы сделать это правильно на реальном сайте, нужно проверять вместе каждый шаблонный паттерн URL, карту сайта, правила robots.txt и директивы в мета-тегах и заголовках, потому что они взаимодействуют. Именно такая сквозная чистка и есть тот тип работы, которым занимаются наши услуги сайт за 30 дней и стабилизация, мы определяем, какие URL должны сканироваться, какие индексироваться, а какие быть закрытыми, и затем внедряем директивы так, чтобы они усиливали, а не противоречили друг другу.

Готовы к запуску?

Расскажите, где вы застряли. Мы разберёмся и пришлём конкретную рекомендацию в течение одного рабочего дня.

Автор

Kostadin Stamboliev

Основатель и имагинатор

Основатель и имагинатор Pineido. Занимается ИТ-консалтингом, разработкой приложений и сайтов, техническим SEO, ИИ и автоматизацией. Выпускает рабочий код 30-дневными спринтами с фиксированным объёмом и понятной ответственностью.

LinkedIn