Normalmente si esto sucedía, la página bloqueada dejaba de aparecer en los resultados en cuanto se actualizara el indice del buscador.
Pero eso ya no es así, Google muestra de todos modos las página bloqueadas, pero con la siguiente leyenda en el lugar de la descripción:
No hay información disponible sobre esta página.
Sin embargo el titulo y su contenido aun siguen indexados, como en este ejemplo:
Supongamos que tienes páginas con contenido duplicado, lo primero que se nos ocurre es bloquear una de ellas a los robots, pero como vemos en el ejemplo, aun son accesibles para una consulta de búsqueda determinada, de tal modo que el contenido duplicado seguirá estando presente.
En este punto si estabas confundido, ahora seguramente estás completamente desconcertado:
– Si usé correctamente el archivo robots, ¿por que aparecen esas páginas si están bloqueadas?-
Exceptuando el caso que se da cuando googlebot ha indexado la URL sin restricciones, y posteriormente se la bloquea. El hecho es que Google puede rastrear una URL, cuando se encuentra bloqueada por el archivo robots.txt
Lo que está sucediendo, es que la orden de bloqueo evita que los robots indexen una pagina, pero no evita que la sigan rastreando. Si el algoritmo considera que esa página es la mas adecuada a una consulta de búsqueda, la muestra en los resultados de todos modos, pero indicando la advertencia de bloqueo.
¿Como evitar entonces que aparezcan esas páginas en los resultados?
Debes recurrir a Google Search Console >> Indice >> Retirada de URLs e ingresar una a una las páginas que se desean ocultar en el indice.
Luego de que se actualice la caché del buscador (24 a 48 Hs.), las URL desaparecerán de los resultados durante 90 días, luego de ese plazo Google volverá a intentar indexarlas, pero debes utilizar la meta etiqueta robots en las páginas que has ocultado, para que no las pueda volver a rastrear ni tampoco indexar.
<meta name="robots" content=”noindex, nofollow”>
Allí esta la diferencia, se puede decir que el archivo robots, puede evitar la indexación pero no el rastreo, en cambio la meta etiqueta robots bloquea ambos; rastreo e indexado.
Google puede rastrear una URL aun si esta se encuentra bloqueada por el archivo robots.txt #SEO #Robots Clic para tuitear
Ver Comentarios (53)
Hola Carlos,
No puedo encontrar el error que causa que, al buscar mi sitio la página principal tenga el error: No se dispone de una descripción de este resultado debido a robots.txt. Más información.
El contenido del meta de robots del index es:
El contenido de robots.txt:
User-agent: *
Allow: /cursos-rosario/
Disallow: /cgi-bin/
Disallow: /_images/
Disallow: /com/
Disallow: /Scripts/
Disallow: /SpryAssets/
Disallow: /cursos/
Disallow: /admin/
Disallow: /Connections/
Disallow: /css/
Disallow: /cuadrantes/
Disallow: /include/
Disallow: /javascript/
Disallow: /mailings/
Disallow: /media/
Disallow: /Templates/
Entiendo que no deberia haber problemas con index, pero no se porque no lo esta tomando...
Gracias!
Esteban
Hola Esteban
Tal vez te sirva esta referencia:
302 - Moved Temporarily (http://www.onoffsolutions.com.ar/) ?
404 - Not Found (http://include/mobilDetect_JS.php)
Por alguna razón hay una dirección temporal al la detección de móviles que no se encuentra.
Para mas informacion consulta en el foro para webmasters:
https://productforums.google.com/forum/?hl=es#!forum/webmaster-es
Excelente Carlos! Te agradezco muchísimo la velocidad en la respuesta. Esto me da una pista por donde puede estar viniendo el error, así que me voy a poner a investigar.
Saludos!
No doy respuestas sobre Adsense por este medio, pero como bien te recomienda Caro, visita el foro de Google donde seguramente te podrán asesorar mejor.
O bien envíame un mensaje por el formulario de contacto y te haré un presupuesto por mi asesoría.
Salu2
Hola carlos, me puedes ayudar con el mensaje por favor, disculpa es que muy sonfuso lo que adsense dice...
Lee detenidamente las TOC de Adsense http://goo.gl/Ci5yP
O consulta directamente en foro oficial de Google Adsense http://goo.gl/PnYsx
Holal Carlos, me puedes ayudar con este mensaje de adsense que puede ser el problema en el blog?
Explicación de la infracción
Los sitios de publicación de AdSense deben ofrecer un valor significativo al usuario a través de contenido exclusivo y relevante. Los anuncios no deben publicarse en páginas generadas automáticamente o con poco o nada de contenido original.
El sitio debe estar bien estructurado y ofrecer una navegación fácil con el fin de proporcionar una buena experiencia de usuario. Los usuarios deberían poder acceder fácilmente a las páginas de su sitio y encontrar la información que buscan.
Gracias...
Te recomendaría acudir como te lo ha mencionado Carlos, al Foro para Webmasters de Google, por lo que se puede ver, lo que sigue no solo es el cobro por la asesoría de Carlos (página empresarial) sino posiblemente la extinción inminente del sitio en Google.
Hola Carlos, gracias por tu respuesta, ok esto es lo que entiendo: se bloquean los tags,paginaciones y categorias a los rastreadores hasta aqui bien entiendo.
Pero los anteriores quedan indexados en el buscador de google?
Y porque all one in seo pack recomienda poner los tags?
Gracias Carlos, por tus ayudas...
Hola Carlos, me ayudo mucho el enlace, pero entiendo que la Keywords google no las toma en cuenta, pero los tags es muy diferente o me equiboco? gracias
Los tags, al igual que las categorias y paginaciones, son contenido duplicado y deben bloquearse el acceso a los rastreadores.
Salu2
Lee este enlace http://goo.gl/UkRb3
Hola, Carlos disculpa tantas preguntas es que estoy aendiendo de muchos errores, bueno mi pregunta es como es la mejor forma de poner lo tags en el plugin All in one seo pack?
Explico: titulo del articulo(compro carros usados y nuevos)
1- tag (carro,automovil,coche,)
2- tag (carros usados,carros nuevos,compro carros,)
Cual es la mejor manera en poner los tags en la forma 1 o la forma 2, en palabra o una frase corta? gracias