El próximo 18 de abril de 2016 será la fecha en que se producirá la actualización del user-agent de Googlebot para smartphones con objeto de mejorar la compatibilidad de su procesador con páginas que utilizan tecnologías web innovadoras. ¿Afectará este cambio a los sitios web?
La conocida popularmente con el sobrenombre de «araña» de Google tiene por misión rastrear todas las páginas nuevas y actualizadas para, posteriormente, añadirlas al índice de la gran G.
El proceso de rastreo de este robot es algorítmico, lo que quiere decir que a través de una serie de programas informáticos se determinan los sitios web que se deben rastrear, así como la frecuencia y el número de páginas que hay que investigar en cada uno de ellos.
Googlebot en acción
Este proceso de rastreo se inicia con una lista de URL generadas a partir de procesos de rastreo anteriores y se complementa con la información de los sitemaps que proporcionan los webmasters. El robot de Google, a medida que emprende sus correspondientes visitas, identificará enlaces SRC y HREF en sus páginas y lo añadirá al listado de sites que se deben rastrear.
Para saber cómo el user-agent de Google, conocido como Googlebot, interpreta el contenido de tu archivo robots.txt y que este último funciona correctamente dispones de esta herramienta. Tales archivos se ubican en la raíz de un sitio y te permiten indicar qué partes no deseas que accedan los rastreadores de los motores de búsqueda.
Por su parte, la herramienta Explorar como Google de Search Console te permitirá comprender cómo se muestra tu sitio para el robot de Google. Para que Internet funcione tal y como lo que conocemos hoy en día, la existencia de este tipo de robots es muy necesaria. Pero, se ha de plantearse si realmente el tráfico de la Red de redes se encuentra en manos de estos bots.
En este sentido, se ha de considerar que cuánto más pequeña es la web más relevante es el tráfico que genera este tipo de robots en su total de visitas. Las estadísticas nos hablan de que el 80% del tráfico que reciben estos sites de menor tamaño se encuentra en manos de los bots.
Cambios en el user-agent de Googlebot para smartphones
El próximo mes, más concretamente el 18 de abril de 2016, Google emprenderá una nueva actualización de los user-agents de su robot para smartphones con la siguiente cadena de código:
Mozilla/5.0 (iphone; CPU iphone OS 8_3 like Mac OS X)
AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile /12F70
Safari/600.1.4 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
Tal y como se indicó en líneas anteriores, esta actualización persigue mejorar la compatibilidad de su procesador con la de las páginas que usan nuevas tecnologías web.
La cadena de agente de usuario del robot de Google guarda una estrecha vinculación con Chrome, más que con Safari. Tal y como afirman desde Google este cambio «no debería afectar al 99% de los sitios web».
Lo que sí podría afectar sobremanera es que se busque una cadena específica de agente de usuario para el robot de Google. En el caso de que pueda perjudicar tu sitio web puedes aprovechar la herramienta que te indicamos con anterioridad para comprobar cómo Googlebot interpreta tu contenido o que modifiques la cadena de agente de usuario en tu navegador a partir de herramientas como el modo dispositivo de Chrome.
La actualización del user-agent de Googlebot para smartphones es uno de los muchos cambios que el Imperio de la G ha emprendido en las últimas semanas.