Google Funciona, con un Motor llamado Google Bot es el robot de búsqueda usado por Google. Colecciona documentos desde la web para construir una base de datos para el motor de búsqueda Google.
Si un webmaster no quiere que su página sea descargada por un Googlebot, puede insertar un texto llamado robots.txt, el cual puede hacer que Googlebot (y otros bots) no investiguen una o varias páginas o incluso todo el sitio web.
Googlebot tiene dos versiones, deepbot y freshbot. Deepbot investiga profundamente, tratando de seguir cualquier enlace en esa página, además de poner esta página en el caché, y dejarla disponible para Google. En Marzo del 2006, completaba este proceso en casi un mes. Freshbot investiga la web buscando contenido nuevo. Visita sitios que cambian frecuentemente. Idealmente, el freshbot visitará la página de un periódico todos los días, mientras que la de una revista cada semana, o cada 15 días.
Googlebot descubre enlaces a otras páginas, y se dirige hacia ellos también, así puede abarcar toda la web fácilmente.
Fuente: Wikipedia
No hay comentarios:
Publicar un comentario