La metaetiqueta meta robots es una herramienta poderosa en SEO que te permite controlar cómo los motores de búsqueda rastrean e indexan tu contenido. A diferencia del archivo robots.txt que afecta a todo el sitio web, la metaetiqueta robots opera a nivel de página individual.
Esto proporciona un enfoque más granular para gestionar la visibilidad de tu contenido en los resultados de búsqueda.
¿Qué es la metaetiqueta robots?
La metaetiqueta robots es una etiqueta HTML que se ubica en la cabecera de una página web (<head>). Esta etiqueta proporciona instrucciones específicas a los rastreadores de motores de búsqueda sobre si pueden indexar la página y seguir los enlaces en ella.
Diferencias entre Meta Robots y Robots.txt
Meta Robots
- Aplicación: Página individual.
- Control: Indexación y seguimiento de enlaces.
- Estructura:
<meta name="robots" content="directiva">
Robots.txt
- Aplicación: Todo el sitio web.
- Control: Rastreo de URL.
- Estructura: Archivo
.txten el directorio raíz del sitio.
Cómo Usar la Metaetiqueta Robots
Atributos Principales
- NAME: Indica los rastreadores a los que se aplica (
robots,googlebot, etc.). - CONTENT: Define las directivas que deben seguir los rastreadores.
Ejemplo Básico
<!DOCTYPE html>
<html>
<head>
<meta name="robots" content="index, nofollow">
</head>
<body>
<!-- Contenido de la página -->
</body>
</html>Directivas Comunes de la Metaetiqueta Robots
Indexación
- index: Permite a los motores de búsqueda indexar la página.
- noindex: Evita que la página sea indexada.
Seguir Enlaces
- follow: Permite que los enlaces en la página sean seguidos.
- nofollow: Impide que los enlaces en la página sean seguidos.
Otras Directivas
- noarchive: Evita que una copia de la página sea almacenada en caché.
- nosnippet: Evita que se muestren fragmentos de la página en los resultados de búsqueda.
- notranslate: Evita que se ofrezca una versión traducida de la página.
- unavailable_after: Evita que la página se muestre en los resultados de búsqueda después de una fecha específica.
Uso de la Cabecera HTTP X-Robots-Tag
La cabecera HTTP X-Robots-Tag permite aplicar reglas de indexación y rastreo a nivel de servidor, lo cual es útil para controlar la visibilidad de archivos no HTML como imágenes y PDFs.
Ejemplo Básico
HTTP/1.1 200 OK
Date: Tue, 25 May 2021 21:42:43 GMT
X-Robots-Tag: noindexImplementación en CMS (WordPress, Wix, etc.)
WordPress
Puedes usar plugins como Yoast SEO para configurar fácilmente las metaetiquetas robots sin necesidad de editar el código HTML directamente.
Ejemplo con Yoast SEO
En la configuración avanzada de una página o entrada:
- Meta Robots Index:
index - Meta Robots Follow:
follow
Recomendaciones SEO para Usar Meta Robots
- Control Granular: Útil para páginas específicas que no deben ser indexadas (e.g., páginas de login).
- Optimización del Presupuesto de Rastreo: Bloquea la indexación de páginas sin valor SEO para que los rastreadores se concentren en las más valiosas.
- Protección de Contenido Sensible: Evita que información confidencial sea indexada accidentalmente.
Preguntas Frecuentes
¿Qué método debo utilizar para bloquear rastreadores?
Depende del caso:
- Robots.txt: Para bloquear secciones del sitio que no deben ser indexadas.
- Meta Robots: Para control granular de páginas individuales.
- X-Robots-Tag: Para aplicar reglas a nivel de servidor y a archivos no HTML.
¿Cuándo usar Meta Robots en vez de Robots.txt?
Usa meta robots para control granular en páginas individuales. Usa robots.txt para instrucciones a nivel de todo el sitio o secciones del mismo.
