Robots.txt: 4 Cosas Que Usted Debe Saber

Hola lectores del blog de la MaestrodeSeo, la semana pasada estuvimos en el SMX Brasil realizada en la ciudad de Sao Paulo, quiero dejar acá un abrazo a todas las personas que conocí allí y por las cuales están leyendo este artículo, siguiendo la línea un poco del evento, hoy vamos a dar 4 pistas BÁSICAS, o 4 cosas que usted debe saber al respecto del robots.txt.

El uso del robots.txt se volvió  ampliamente utilizado para un método de control y seguimiento de su sitio. Así mismo, se convirtió en una de las primeras cosas que usted debe comprobar para diagnosticar problemas de indexación o algún otro problema en su sitio. Si bien casi todos los webmasters ya utilizan este archivo, todavía hay algunas cosas que causan malentendidos, vamos a ellos:

Robots.txt no dice que la pagina sera removida del indice de los search engines o motores de búsqueda

La utilización del robots.txt puede evitar que los bots entren en una determinada página o directorio, pero si la URL fue indexada anteriormente a partir de fuentes externas, ella usará esas informaciones para hacer el juicio de la página y formular el snippet (título y descripción que aparecerá en los players de búsqueda).

Los robots de búsqueda siguen apenas lo que usted especifica para ellos en el robots.txt

Si utiliza una definición general para todos los bots (es decir: user-agent: *) y una definición específica para un robot especifico (por ejemplo: User-agent: Googlebot) en las secciones del User-agent, tenga en cuenta que Google (y otros indexadores), sólo seguirán las secciones más específicas y hará caso omiso de todas las demás secciones (incluyendo la general). Ex:

De instrucciones claras en su archivo robots.txt

Dentro del archivo robots.txt los bots leen una instrucción en una url  a partir de la izquierda a la derecha, lo que significa que ellos bloquean o permiten todo después del “/” en una URL, por ejemplo, si usted coloca: ” Disallow: / a ” todo lo que comienza con ‘a” la “será descartado por los bots, en este caso la página www.sudominio.com./ about.html será descartada por el user-agent.

Proteja sus archivos con el robots.txt

Mirando hacia el lado de la seguridad y la optimización para motores búsqueda (SEO), su sitio DEBE tener ese archivo robots.txt, aunque usted no quiera dejar ninguna dirección para el bot, en este caso haga el archivo y deje el patrón:
User-agent: *
Disallow:

Por esto, tenga la certeza de que:

• Todos los indexadores tratan de entender lo que usted quiere decir correctamente.

• Los indexadores siempre consiguen acceder a su robots.txt, por lo tanto, siempre mire el Logo de Google  Webmasters Tools para ver si Google bot encontró su archivo correctamente.

• Los Bots no irán a esperar para indexar su sitio en caso de no poder entender su Robots.txt (un caso muy improbable, pero puede suceder de todos modos).

Espero que les hayan gustado estas pistas sobre el robots.txt y no deje de verificar nuestra herramienta para la generacion de robots.txt.

Un abrazo para todos.