Robots.txt para SEO: guía completa
Robots.txt es un archivo de cuatro líneas que puede costarte tráfico en silencio o salvar tu presupuesto de rastreo. Esta guía cubre la sintaxis que realmente importa, los bloqueos que más a menudo perjudican el posicionamiento, qué significa de verdad el presupuesto de rastreo y cómo verificar cada cambio antes de publicarlo.
Qué hace robots.txt (y qué no puede hacer)
Robots.txt vive en la raíz de cada dominio, por ejemplo https://example.com/robots.txt. Indica a los rastreadores que lo respetan qué URLs tienen permiso para solicitar. Google lo dice con claridad: el archivo sirve para evitar sobrecargar tu sitio con solicitudes, y no es un mecanismo para mantener una página fuera de la Búsqueda.
Esa única frase resuelve la mayor parte de la confusión sobre robots.txt. Rastrear es que un bot solicite una URL. Indexar es que Google almacene esa URL para poder posicionarla. Robots.txt solo gobierna el rastreo. Una página que prohíbes puede seguir apareciendo en los resultados, normalmente como una URL desnuda sin descripción, si otras páginas enlazan a ella. Para mantener una página fuera de la Búsqueda necesitas una metaetiqueta noindex, una cabecera X-Robots-Tag, protección con contraseña o la eliminación, nunca una línea de disallow.
Un límite más: el archivo es orientativo. Googlebot y otros rastreadores serios lo obedecen, pero un scraper hostil puede ignorarlo por completo. Robots.txt es una herramienta de gestión de tráfico, no un control de seguridad. Todo lo que deba permanecer privado pertenece detrás de una autenticación.
La sintaxis que realmente importa
Un archivo robots.txt está formado por grupos de reglas. Cada grupo empieza con una o más líneas User-agent, seguidas de reglas Allow y Disallow. Un ejemplo mínimo:
User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help
Sitemap: https://example.com/sitemap.xmlLos nombres de campo no distinguen mayúsculas (User-agent equivale a user-agent), pero los valores de ruta sí: /Admin y /admin son distintos. Las rutas son relativas a la raíz y deben empezar con una barra. Los comentarios empiezan con #.
Google, Bing y otros grandes motores admiten dos comodines: * coincide con cualquier secuencia de caracteres, y $ ancla el final de una URL. Así, Disallow: /*.pdf$ bloquea toda URL que termine en .pdf. Crawl-delay aparece mucho en guías antiguas, pero Google lo ignora; Bing y Yandex aún lo leen. Mantén el archivo en UTF-8 y por debajo de 500KB, que es el límite estricto de Google; cualquier cosa más allá se ignora.
Precedencia: el orden no decide, la longitud sí
El error de sintaxis más común es suponer que las reglas se leen de arriba abajo. No es así. Cuando varias reglas coinciden con una URL, gana la regla con la ruta más larga, y en caso de empate exacto Allow vence a Disallow. Esto está codificado en el RFC 9309, el estándar formal del Protocolo de Exclusión de Robots.
Ejemplo. Para la URL /home/search/shirts con estas reglas:
Disallow: /home
Allow: *search*
Disallow: *shirtsla URL es rastreable, porque la ruta Allow coincidente es más larga que las rutas Disallow coincidentes. Reordenar las líneas no cambia nada.
Hay una segunda trampa con los user agents. Google fusiona en uno solo todos los grupos que coinciden con un bot específico, pero nunca combina un grupo con nombre con el grupo global User-agent: *. Así que en el momento en que añades un bloque User-agent: Googlebot, Googlebot deja de leer tus reglas de User-agent: *. Si apuntas a un bot específico, ese grupo debe repetir cada regla que quieras que siga cumpliendo.
Bloqueos que perjudican el posicionamiento en silencio
La mayor parte del daño de robots.txt viene del exceso de bloqueo, no de la falta de él. El peor culpable es prohibir CSS y JavaScript. Google renderiza las páginas para entenderlas, y su propia guía es directa: si robots.txt bloquea los archivos JS, CSS e imagen que usan tus páginas, perjudica directamente cómo de bien Google renderiza e indexa tu contenido y puede resultar en peores posiciones. El viejo mito del presupuesto de rastreo de bloquear recursos se retiró hace años.
El matiz de Martin Splitt de Google: bloquear un script solo es un problema real si el contenido que ve el usuario depende de él. Una etiqueta de analítica o un widget de chat con robots no causa daño. Un bundle con robots que inyecta tu texto principal significa que Google ve una página vacía.
El segundo fallo silencioso es usar robots.txt para desindexar. Prohíbe una URL y Google nunca podrá rastrearla para descubrir una etiqueta noindex que añadas después, así que la página sigue indexada. Si quieres que una página desaparezca, déjala rastreable y sirve noindex. Un Disallow: / general olvidado de una versión de staging es la versión catastrófica de esto, y desindexa sitios enteros tras el lanzamiento.
Reciba ideas sobre operaciones cada semana
Únase a los responsables de empresas de servicios que reciben cada semana una idea práctica sobre operaciones, automatización y crecimiento.
Sin spam. Cancele cuando quiera.
¡Ya está suscrito! Busque nuestro próximo número en su bandeja de entrada.
No se pudo enviar. Inténtelo de nuevo o escriba a [email protected].
Presupuesto de rastreo: qué es y qué puede hacer robots.txt
El presupuesto de rastreo es cuántas URLs solicitará Googlebot de tu sitio en una ventana dada. Para sitios de menos de unos pocos miles de URLs rara vez importa; Google las rastrea por completo. Se vuelve real en catálogos grandes, marketplaces y cualquier sitio que genere URLs de forma combinatoria.
El desperdicio clásico es la navegación facetada y la búsqueda interna. Filtros como ?color=red&size=l&sort=price se multiplican en URLs casi infinitas con poco valor único, y las páginas de resultados de búsqueda interna pueden generarse sin fin. Gary Illyes de Google ha advertido repetidamente que se bloqueen las URLs de acción (añadir al carrito, login, checkout, combinaciones de filtros) porque, de lo contrario, Googlebot las rastreará indefinidamente, incluso combinaciones inexistentes.
Una corrección de un dato que muchas guías equivocan: bloquear páginas no entrega el presupuesto liberado a tus páginas importantes. Google solo lo reasigna si tu servidor ya estaba alcanzando su límite de servicio. Robots.txt detiene el desperdicio; no fabrica capacidad de rastreo. Las verdaderas palancas para más rastreo son servidores más rápidos y sanos y contenido de mayor calidad, genuinamente único.
Una plantilla práctica para empezar
La mayoría de sitios de negocios de servicios y de contenido quieren algo cercano a esto, ajustado a rutas reales:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xmlNotas. Lista cada sitemap XML con una URL absoluta; puedes tener varias líneas. No bloquees /wp-content, /assets ni ningún directorio que contenga CSS, JS o imágenes. Sé preciso con las reglas de parámetros, porque un descuidado Disallow: /*? puede tumbar URLs limpias que casualmente lleven un parámetro de seguimiento. Mantén el archivo simple; las pilas complejas de reglas con comodines son donde se esconde el exceso de bloqueo accidental. Cada subdominio necesita su propio robots.txt, y también cada protocolo, así que http y https se tratan como archivos separados.
Probar con GSC y curl antes de publicar
Verifica dos cosas en cada cambio: que el archivo que Google obtiene es el que pretendías, y que las URLs reales se resuelven como esperas.
Empieza con curl para ver exactamente qué reciben los rastreadores, sin sorpresas de caché ni de CDN: curl -A "Googlebot" https://example.com/robots.txt. Confirma que el estado es 200, que el tipo de contenido es text/plain y que el cuerpo coincide con tu fuente. Un robots.txt que devuelve 500 hace que Google trate todo el sitio como prohibido hasta que se recupere, así que la salud del servidor importa aquí.
En Google Search Console, el antiguo probador de robots.txt ya no existe. Usa el informe de robots.txt en Configuración para confirmar la última versión obtenida por Google y cualquier aviso de análisis. Para comprobar una URL concreta, pégala en la herramienta de Inspección de URLs y lee la sección de rastreo; te dice si la URL está bloqueada. Para encontrar daños existentes, abre el informe de Páginas y filtra por Bloqueada por robots.txt. Recuerda que GSC solo prueba Googlebot, así que para Bing o rastreadores de IA valida por separado. Esta disciplina de pruebas, aplicada antes de lanzamientos y migraciones, es exactamente el tipo de salvaguarda que un sprint de SEO técnico de alcance fijo incorpora a tu proceso de publicación para que un disallow perdido nunca llegue a producción.
¿Listo para lanzar?
Cuéntenos dónde está atascado. Lo revisaremos y le enviaremos una recomendación concreta en un día hábil.
Preguntas frecuentes
¿Puedo usar robots.txt para mantener una página fuera de Google?
No. Robots.txt controla el rastreo, no la indexación. Una página prohibida aún puede indexarse y mostrarse como una URL si otras páginas enlazan a ella, y bloquearla impide que Google vea nunca una etiqueta noindex. Para eliminar una página de la Búsqueda, déjala rastreable y usa una metaetiqueta noindex o una cabecera X-Robots-Tag, protégela con contraseña o elimínala.
¿Es malo bloquear CSS y JavaScript en robots.txt?
Sí, en la mayoría de los casos. Google renderiza las páginas para entenderlas y dice que bloquear los archivos CSS, JS e imagen que usan tus páginas perjudica directamente el renderizado y la indexación y puede bajar las posiciones. La única excepción segura son los scripts que no afectan al contenido que ven los usuarios, como un widget de chat. Nunca bloquees bundles que cargan tu texto visible.
¿Las reglas de robots.txt se aplican en el orden en que están escritas?
No. Cuando varias reglas coinciden con una URL, gana la regla con la ruta coincidente más larga, y en caso de empate Allow vence a Disallow. Esto sigue el RFC 9309. Reordenar las líneas no cambia el comportamiento, así que resuelve los conflictos ajustando la especificidad de las rutas, no la posición.
¿Bloquear páginas en robots.txt libera presupuesto de rastreo?
Solo a veces. Bloquear URLs de poco valor detiene el desperdicio, pero Google reasigna el presupuesto liberado a otras páginas solo si tu servidor ya estaba alcanzando su límite de servicio. Para la mayoría de los sitios, servidores más rápidos y contenido único de mayor calidad hacen más por la tasa de rastreo que el bloqueo por sí solo.
¿Cómo pruebo los cambios de robots.txt en 2026?
Usa curl con un user agent de Googlebot para confirmar que el archivo devuelve 200 y el contenido exacto que esperas. En Google Search Console, revisa el informe de robots.txt en Configuración para ver la versión obtenida y los avisos, usa la herramienta de Inspección de URLs para probar URLs concretas y filtra el informe de Páginas por Bloqueada por robots.txt para detectar problemas existentes. El antiguo probador independiente está obsoleto.
¿Qué debería bloquear realmente en robots.txt?
Bloquea URLs de poco valor y gran volumen que crean espacio de rastreo infinito: combinaciones de filtros facetados, resultados de búsqueda interna, parámetros de ordenación y paginación, y páginas de acción como carrito, checkout, login y cuenta. Deja siempre rastreables el CSS, el JS, las imágenes y cualquier página que quieras indexar.