Ene
22
2008


173 Leído

Feedfetcher el Crawler de Google que pasa por alto Robots.txt

Google FeedfetcherGoogle Feedfetcher es uno de los robots pasivos de Google, ya que se dedica a espiar la Información requerida por usuarios, a diferencia del Googlebot que se encarga de revisar todos los apartados de la web ingresando hasta a los lugares en los que no debería ingresar.

Este crawler lo que realiza es básicamente revisar las cosas que los usuarios deciden ingresar a las diversas herramientas de Google (como Google Reader, Google Personalized Homepage y similares) y entregar luego la información a las herramientas de Google que trabajan en base a Feeds de Sindicación.

Muchas veces es confundido con el actual crawler web de Google, el Googlebot, y muchos usuarios luego se quejan de que no les es posible accesar a ciertas webs desde alguna de las herramientas de Google, y eso se puede deber evidentemente a que el administrador de dicha web ha bloqueado el acceso a este robot.

Por consideración con tus Usuarios, permítelo navegar tu web  Vale demás decir, que si este Bot no tiene permitido el acceso a tu Blog/Web, no podrás utilizar Feedburner…

Más Información | Google Feedfetcher, Marlex Systems

Compártelo:


By H@free en: Curiosidades, Descargar Full, General, Google, Noticias | Etiquetas:, , , , ,



No hay comentarios»

RSS feed for comments on this post. TrackBack URL

Deja un comentario

CATEGORÍAS

TOP DOWNLOADS

Powered by WordPress. Theme: TheBuckmaker. Geld Bank, Nebenjob von zu Hause
Edit: By H@free

ir arriba