Google benutzt zwei unterschiedliche Roboter, um das Netzt nach neuen Inhalten und Seiten oder Aktualisierungen zu durchsuchen: Freshbot und Deepbot, deren Namen sich von ihren Wirkungsweisen und Arbeitsfeldern ableiten lassen.
Der Deepbot durchsucht etwa einmal im Monat die Netzinhalte und speichert diese Resultate im Google Hauptindex. Der Freshbot hingegen durchsucht das Netz kontinuierlich und ist für den so genannten Everflux Effekt verantwortlich.
Der Freshbot findet häufig aktualisierte Inhalte wie Nachrichten, Foren, Blogs und andere neue Webseiten im Netz. Man geht nach den gemachten Beobachtungen davon aus, dass Google, wenn es eine neue Website gefunden hat, diese zuerst sehr häufig auf regelmäßige Aktualisierungen hin überprüft. Erst wenn dies ausreichend nachgewiesen ist – und nur dann (!) – wird die Webseite der Liste der durch den Freshbot zu besuchenden Seiten hinzugefügt.
Es scheint so, dass Google für die vom Freshbot erfassten Daten eine eigene, temporäre Datenbank führt. Diese wird jedes Mal aktualisiert, wenn der Freshbot einen neuen Zyklus beginnt. Die vom Freshbot gefundenen Daten und der eigentliche Hauptindex werden zunächst zusammengeführt, um möglichst aktuelle Suchergebnisse zu produzieren.
Vom Freshbot-Crawling erfasste Webseiten erscheinen daher sehr schnell in den Suchergebnis-Seiten und das recht häufig auch – zunächst – sehr gut platziert. Dieser Effekt ist nur temporär und lässt auch keine Rückschlüsse auf das reale Ranking oder den PageRank zu. Die Seiten verschwinden nach einigen Tagen, um aber dann ein oder zwei Monate später im aktualisierten Google Hauptindex wieder aufzutauchen, und zwar mit realer Berechnung des Rankings.
Früher verwendete der Freshbot IP-Adressen, die mit 64.* begannen und Deepbot Adressen die mit 216.* anfingen. Seit Mitte 2003 erkennt man Freshbot an Adressierungen von 64.* und 66.*.
Im Zusammenhang mit Freshbot werden oft auch die Begriffe Fresh Crawl und Deep Crawl in Verbindung gebracht.
Loading...
