Monitoreando acciones de los Robots con PHP

Las empresas cada vez más están mirando para la Internet, aquello que antes representaba sólo insertar banners en grandes portales tiene está dividido para frentes mucho más complejas y diría muchas veces más eficaces que de las tradicionales mídias gráficas. Dentro de esto podemos hablar de Links Patrocinados, Social Media y claro de optimización para motores de búsqueda (SEO).

Cuando se trabaja con consultoría en optimización para motores de búsqueda (SEO) la principal barrera en las empresas es el hecho de que el servicio es poco tangible a corto plazo. Las empresas con sus presupuestos apretados cobran un posicionamiento y retorno en visitas en un plazo que en la mayoría de las veces es prácticamente imposible realizar un buen trabajo y esta falta de percepción por parte de los gestores pueden representarse en horas de reclamaciones y dolor de cabeza para la consultoría.

Hoy voy a presentar una forma interesante y simple de disminuir este problema, una forma de monitorear las acciones de los robots y así presentar al cliente una forma más exacta, tangible y a corto plazo los primeros resultados de las acciones utilizando una variable global del PHP llamada $_SERVER['HTTP_USER_AGENT'].

Esta función sirve para que usted detecte cual es el navegador y sistema operacional que el usuario está utilizando y en el caso de los buscadores estos utilizan formatos bien específicos que nos permiten identificarlos con esta simple función.

Los tres principales buscadores, por ejemplo, utilizan:

Google:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Yahoo:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

MSN:
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; InfoPath.2; MSN Optimized;BR; MSN Optimized;BR)

Montando el Script:
Abajo va un ejemplo de cómo montar el script en la práctica. Naturalmente puede ser alterado debido a necesidad de cada caso pero este es el básico para tenerse informaciones relevantes de como los Robots están trabajando.

Este código puede ser colocado a través de una inclusión en todas las páginas del sitio:

<?
$robot = array();
if(eregi(”google”,$_SERVER['HTTP_USER_AGENT']))
{
$robot['buscador'] = “Google”;
};
if(eregi(”slurp”,$_SERVER['HTTP_USER_AGENT']))
{
$robot['buscador'] = “Yahoo”;
};
if(eregi(”msn”,$_SERVER['HTTP_USER_AGENT']))
{
$robot['buscador'] = “MSN”;
};
if(eregi(”ask”,$_SERVER['HTTP_USER_AGENT']))
{
$robot['buscador'] = “ASK”;
};
if(eregi(”alexa”,$_SERVER['HTTP_USER_AGENT']))
{
$robot['buscador'] = “Alexa”;
};

$robot['grava'] = “INSERT INTO `robots` (`data`, `buscador`, `agent`, `ip`, `dominio`, `pagina`, `referencia`) VALUES (now(), ‘$robot[buscador]‘, ‘$robot[agent]‘, ‘$robot[ip]‘, ‘$robot[dominio]‘, ‘$robot[pagina]‘, ‘$robot[referencia]‘)”;
$robot['grava'] = @mysql_query($robot['grava'],$variavel_de_conexao);
};
?>

if(eregi(”UOL”,$_SERVER['HTTP_USER_AGENT']))
{
$robot['buscador'] = “UOL”;
};
if(isset($robot['buscador'])) {
$robot['dominio']    = $_SERVER['HTTP_HOST'];
$robot['pagina']     = $_SERVER['REQUEST_URI'];
$robot['referencia'] = $_SERVER['HTTP_REFERER'];
$robot['agent']      = $_SERVER['HTTP_USER_AGENT'];
$robot['ip']         = getenv(”REMOTE_ADDR”);

Desmembrando el código:
Antes que nada cogemos en este sitio el “user-agent” usado por los principales buscadores de Brasil, después de esto hacemos varios vínculos de “IF” para localizar en la variable global que recibe esta información, a cuál mecanismo se refiere la visita, en caso de encontrar si es de uno de ellos, es atribuido un nombre más “legible”.

Enseguida, si este detecta algún mecanismo nosotros buscamos otras informaciones que consideremos importante como:

•    Cual dominio está ingresando?
•    Cual página del sitio está ingresando?
•    A través de cuál página localizó su sitio (link building) ?

Después de esto guardamos estas informaciones en un banco de datos MySQL que será utilizado para usted cree informes de indexación del sitio, gráficos o todo lo que la creatividad permita.

Que tal crear una área con clave para que su cliente sepa en tiempo real cuáles robots están indexando el sitio de él, cual página y a través de cuál link?

Bueno gente, ahí queda la pista ! Espero que les haya gustado y VOTEN!!!