SEO: Robots.txt. ¿Qué es y cómo utilizarlo?
Robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un sitio web.
Los robots que visitan las páginas web están programados para buscar el archivo robots.txt de una página web antes rastrearla, verifican que existe dicho archivo y cuáles son las páginas que tiene restringidas.
Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador allí donde no sea necesario.
¿Cómo utilizarlo?
- Se ubica en el directorio raíz del site web
- Puedes crearlo con el generador de robots.txt desde la webmasters tools
- Si no tienes ninguna restricción no es necesario que lo uses.
- Puedes complementar su restricción a secciones confidenciales añadiendo la metaetiqueta “noindex”
Escribir comentario