Ein Spider (auch Crawler oder Robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Die Spider der Suchmaschine Google tragen die Bezeichnung Googlebot.
Die Häufigkeit, mit der der Googlebot eine Webseite besucht, ist davon abhängig wie viele externe Links zu der Seiten zeigen und wie hoch der Pagerank der entsprechenden Seite ist. Der Googlebot beachtet die Robots.txt Datei.
Bewerte diesen Artikel
Bis jetzt keine Bewertung
Loading...
