SEO: Robots.txt. ¿Qué es y cómo utilizarlo?

ROBOTS.TXT ¿QUE ES Y COMO UTILIZARLO?

Robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un sitio web. 

 

Los robots que visitan las páginas web están programados para buscar el archivo robots.txt de una pagina web antes rastrearla, verifican que existe dicho  archivo y cuáles son las páginas que tiene restringidas. 

 

Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador allí donde no sea necesario.

¿Como utilizarlo?

  1. Se ubica en el directorio raíz del site web
  2. Puedes crearlo con el generador de robots.txt desde la webmasters tools
  3. Si no tienes ninguna restricción no es necesario que lo uses.
  4. Puedes complementar su restricción a secciones confidenciales añadiendo la metaetiqueta “noindex” 
Email Marketing con Base de Datos

Email Marketing con Base de Datos


Related Posts Plugin for WordPress, Blogger...

Escribir comentario

Comentarios: 0