El uso del robots.txt se volvió  ampliamente utilizado para un método de control y seguimiento de su sitio. Así mismo, se convirtió en una de las primeras cosas que usted debe comprobar para diagnosticar problemas de indexación o algún otro problema en su sitio. Si bien casi todos los webmasters ya utilizan este archivo, todavía hay algunas cosas que causan malentendidos, vamos a ellos:

Robots.txt no dice que la pagina sera removida del indice de los search engines o motores de búsqueda

La utilización del robots.txt puede evitar que los bots entren en una determinada página o directorio, pero si la URL fue indexada anteriormente a partir de fuentes externas, ella usará esas informaciones para hacer el juicio de la página y formular el snippet (título y descripción que aparecerá en los players de búsqueda).

Los robots de búsqueda siguen apenas lo que usted especifica para ellos en el robots.txt

Si utiliza una definición general para todos los bots (es decir: user-agent: *) y una definición específica para un robot especifico (por ejemplo: User-agent: Googlebot) en las secciones del User-agent, tenga en cuenta que Google (y otros indexadores), sólo seguirán las secciones más específicas y hará caso omiso de todas las demás secciones (incluyendo la general). Ex:

De instrucciones claras en su archivo robots.txt

Dentro del archivo robots.txt los bots leen una instrucción en una url  a partir de la izquierda a la derecha, lo que significa que ellos bloquean o permiten todo después del “/” en una URL, por ejemplo, si usted coloca: ” Disallow: / a ” todo lo que comienza con ‘a” la “será descartado por los bots, en este caso la página www.sudominio.com./ about.html será descartada por el user-agent.

Proteja sus archivos con el robots.txt

Mirando hacia el lado de la seguridad y la optimización para motores búsqueda (SEO), su sitio DEBE tener ese archivo robots.txt, aunque usted no quiera dejar ninguna dirección para el bot, en este caso haga el archivo y deje el patrón:
User-agent: *
Disallow:

Por esto, tenga la certeza de que:

• Todos los indexadores tratan de entender lo que usted quiere decir correctamente.

• Los indexadores siempre consiguen acceder a su robots.txt, por lo tanto, siempre mire el Logo de Google  Webmasters Tools para ver si Google bot encontró su archivo correctamente.

• Los Bots no irán a esperar para indexar su sitio en caso de no poder entender su Robots.txt (un caso muy improbable, pero puede suceder de todos modos).

Espero que les hayan gustado estas pistas sobre el robots.txt y no deje de verificar nuestra herramienta para la generacion de robots.txt.

Un abrazo para todos.

Robots.txt: 4 Cosas Que Usted Debe Saber is a post from: Blog Maestro de SEO

Como Crear un Archivo robots.txt

Usted puede crear un robots.txt en cualquier editor de texto, pero existen varios generadores que usted puede encontrar en el sitio. Google ofrece esta herramienta en el Google Webmasters Tools.

Analizando el robots.txt

En el Google Webmaster Central, existe una herramienta de análisis muy eficiente, que muestra los errores que el crawler encontró durante el análisis de su sitio. Para más detalles los pueden encontrar en mi artículo de optimización de sitios usando el Google webmaster tools.

Ejemplos de Formacion del robots.txt

Permite que todos los  archivos sean indexados

User-agent: *
Disallow:

No permite que ningun archivo sea indexado

User-agent: *
Disallow: /

No permite que una carpeta sea indexada, con excepción del archivo myfile.html que está dentro de la carpeta

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

Información Contenida en el robots.txt

Los motores búsqueda son destructivos por estándar. Ellos quieren indexar el máximo de información de calidad que consigan, y presumen que pueden indexar todo, a menos que alguien los haga parar.

Si usted especifica datos para todos los bots (*) y datos para bots específicos (como el Googlebot), sucede que los mandos específicos para bots serán seguidos mientras el Bot. especificado (en nuestro ejemplo el Googlebot) irá a ignorar los mandos globales. Luego, si usted hace un mando global porque quiera aplicar para un bot específico, entonces usted deberá colocar el mando para el bot específico también.

Cuando usted bloquea la URLs para que ellas no sean indexadas en Google por el robots.txt, Google puede todavía mostrar estas URLs en los resultados de las investigaciones. Una solución más completa es bloquearlas usando las meta tags:

• <meta name=”robots” content=”noindex”>

• <meta name=”robots” content=”noindex,nofollow”>

Si usted no tiene un archivo robots.txt, los logs de los servidores irán a retornar como errores 404 siempre que un bot intente acceder al archivo. Usted puede hacer upload del archivo en blanco con el nombre robots.txt en la carpeta raíz de su sitio.

Algunos motores búsqueda también permiten que usted especifique la dirección de una sitemap XML en el archivo robots.txt.

Caracteres Especiales

Google, Yahoo! y MSN permiten el uso de caracteres especiales en el archivo robots.txt.
Para bloquear el acceso a todas las URLs que incluyen una interrogación (? – URLs con parámetros vía GET), usted debe usar el siguiente código:

User-agent: *
Disallow: /*?

Usted también puede especificar los archivos con determinadas extensiones usando el signo monetario ($). Por ejemplo: si usted quiere bloquear todas las páginas con extensión .asp, coloque en el robots.txt :

User-agent: Googlebot
Disallow: /*.asp$

Excentricidades

Sabemos que Google viene “llenando” formularios de investigaciones e indexando las páginas generadas. Para evitar que tales páginas sean indexadas, bloquee por el robots.txt. Suponga que la variable de investigación en la URL sea “search”. Entonces usted realizar esto:

User-agent: *
Disallow: /?search=

Para evitar que las páginas generadas por investigación sean generadas.

Analizando el Robots.txt
En el Google Webmaster Central, existe una herramienta de análisis muy eficiente, que muestra los errores que el crawler encontró durante el análisis de su sitio. Mas detalles pueden ser encontrados en mi articulo de optimizacion de sitios usando el Google Webmaster Tools

Conclusiones
El uso del robots.txt es una importante técnica de control de la indexacion de su sitio y es uno de los primeros items para verificarse cuando se realiza una consultoria de SEO. Entonces este pendientey no se olvide de verificar su robots.txt.

Tutoría de robots.txt is a post from: Blog Maestro de SEO