Páginas Bloqueadas a los robots aun aparecen en Google

noindex-googleHace tiempo que el motor de búsqueda de Google ha cambiado el modo de tratar las URLs bloqueadas para googlebot, y esto confunde un poco a los webmasters desprevenidos:

Normalmente si esto sucedía, la página bloqueada dejaba de aparecer en los resultados en cuanto se actualizara el indice del buscador.

Pero eso ya no es así, Google muestra de todos modos las página bloqueadas, pero con la siguiente leyenda en el lugar de la descripción:

No hay información disponible sobre esta página. 

Sin embargo el titulo y su contenido aun siguen indexados, como en este ejemplo:

Supongamos que tienes páginas con contenido duplicado, lo primero que se nos ocurre es bloquear una de ellas a los robots, pero como vemos en el ejemplo, aun son accesibles para una consulta de búsqueda determinada, de tal modo que el contenido duplicado seguirá estando presente.

En este punto si estabas confundido, ahora seguramente estás completamente desconcertado:

– Si usé correctamente el archivo robots, ¿por que aparecen esas páginas si están bloqueadas?-

Exceptuando el caso que se da cuando googlebot ha indexado la URL sin restricciones, y posteriormente se la bloquea. El hecho es que Google puede rastrear una URL, cuando se encuentra bloqueada por el archivo robots.txt

Lo que está sucediendo, es que la orden de bloqueo evita que los robots indexen una pagina, pero no evita que la sigan rastreando. Si el algoritmo considera que esa página es la mas adecuada a una consulta de búsqueda, la muestra en los resultados de todos modos, pero indicando la advertencia de bloqueo.

¿Como evitar entonces que aparezcan esas páginas en los resultados?

Debes recurrir a Google Search Console >> Indice de Google >> Eliminación de URL e ingresar una a una las páginas que se desean ocultar en el indice.

Luego de que se actualice la caché del buscador (24 a 48 Hs.), las URL desaparecerán de los resultados durante 90 días, luego de ese plazo Google volverá a intentar indexarlas, pero debes utilizar la meta etiqueta robots en las páginas que has ocultado, para que no las pueda volver a rastrear ni tampoco indexar.

<meta name="robots" content=”noindex, nofollow”>

Allí esta la diferencia, se puede decir que el archivo robots, puede evitar la indexación pero no el rastreo, en cambio la meta etiqueta robots bloquea ambos; rastreo e indexado.

Google puede rastrear una URL aun si esta se encuentra bloqueada por el archivo robots.txt #SEO #Robots Clic para tuitear

También te podría gustar...