Robots.txt y Algunas Pistas para Word Press

El robots.txt es un archivo que debe ser encontrado en la raíz de todo dominio, o mejor debería porque no todos lo tienen. El robots.txt es un archivo en texto mismo, en el que usted escribe las reglas con una gramática particular entendida por los spiderbots. Esto es esencial en la optimización de sitios.

El robots.txt tiene básicamente dos funciones: evitar el contenido duplicado y garantizar que algunas carpetas o todo su sitio no sea visitado e indexado por los spiderbots, logrando que su contenido no sea mostrado en los resultados de las búsquedas.

Como he dicho, el robots.txt puede ser usado para proteger su contenido de alguna indexación, por ejemplo, si usted tiene una copia del sitio para pruebas en una carpeta acuérdese de bloquearlas también

Si el robots.txt está presente en la raíz del sitio entonces ella puede ser accesible tanto para el spiderbot como para un usuario cualquiera, si desea  ver como el personal utiliza ese archivo, solo basta que visite la siguiente pagina: www.susitio.com/robots.txt.

Si usted utiliza Word Press en su blog, por ejemplo, el spiderbot encontrará sus posts de varias maneras. Puede ser por las carpetas, las categorías, los autores, los archivos entre otras. Lo que sucede es que encontrará el mismo post por caminos diferentes característico de contenidos duplicados, a pesar de que los blogs tengan tratamiento diferente por los spiderbots es indispensable el bloqueo de algunas carpetas. Entonces usted puede bloquear sus carpetas de categorías, autores, las carpetas de archivos (serían: 2007, 2008, etc…).

Eso sería un tramo de los robots de un blog optimizado:
sitemap: http://www.sublog.com./sitemap.xml

User-agent: *
Disallow: /wp-admin/
Disallow: /author/
Disallow: /comments/
Disallow: /category/
Disallow: /2007/
Disallow: /2008/

Rafael público un artículo de cómo evitar el contenido duplicado con el robots.txt con ejemplos de su gramática, esto  vale la pena estudiarlo. Aprenda a utilizar el Google Webmaster Tools que contiene una herramienta de construcción del archivo robots.txt.

Hasta la próxima