Ein Spider (auch Crawler oder Robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert.
Die Spider der Suchmaschine Yahoo tragen die Bezeichnung Yahoo Slurp (die von Google heißen Googlebot). Yahoo Slurp beachtet die Robots.txt Datei und hält sich daran.
Bewerte diesen Artikel
Bis jetzt keine Bewertung
Loading...
