Deep Crawl (Tiefen-Indexierung)

XOVI Banner

Unter Deep Crawl oder Tiefen-Indexierung versteht man eine Technik von Suchmaschinen, eigenständig alle Unterseiten einer Website zu crawlen und zu indexieren.

Suchmaschinen wie Google, die sich der Deep Crawling Technologie bedienen, nehmen automatisch und ohne Anmeldung bei Suchmaschinen Unterseiten einer Website in ihren Index auf. Das bedeutet, dass, wenn eine Website schon indexiert ist und eine innere Verlinkung hat, der Eintrag von verlinkten Unterseiten bei dieser Suchmaschine nicht erforderlich ist, da die Crawler (Spider) dies erledigen.

Der DeepCrawl liest alle Informationen bis in die unterste Ebene aus. Dieser Vorgang ist sehr zeitaufwendig und kann mehrere Stunden dauern. Deshalb arbeiten Roboter von Suchmaschinen mit Wartezeiten, um den Webserver nicht zu stark zu belasten.

Das Deep Crawling lässt sich anhand von Server-Logfiles genau beobachten. Der User Agent der Crawler gibt Auskunft darüber, welche Suchmaschine gerade auf deinen Seiten ist. So geben sich die Crawler von Yahoo! als “Slurp” und von Google als “Googlebot” (ehemals “backrub”) aus. Logfiles geben auch die IP-Adresse an, von der aus die Crawler arbeiten.

AAWP

Bestes Amazon Affiliate Plugin: AAWP

AAWP Funktionen
  • Sehr schöne Vergleichstabellen
  • Mehr Provisionen
  • Geringer Aufwand
AAWP Button

Verschiedene Suchmaschinen haben auch unterschiedliche Kriterien, nach deren sie entscheiden, ob und welche Unterseite aufgenommen wird. Als Relevanzkriterium können zum Beispiel der PageRank (PR) oder die Link Popularity dienen.

Suchmaschinen, die ohne Deep Crawl arbeiten, beachten nur solche Webseiten, die explizit angemeldet wurden oder sie verfolgen Links zu Unterseiten nur bedingt tief.

Siehe auch: Fresh Crawl, Freshbot und Everflux Effekt.

SeedingUp

Digital Content Marketing Plattform: SeedingUp

SeedingUp Funktionen
  • Website & Produkte bekannt machen
  • Hochwertige Backlinks kaufen und verkaufen
  • Schnell und effizient
SeedingUp Button
Bewerte diesen Artikel
1 Stern2 Sterne3 Sterne4 Sterne5 Sterne


Bis jetzt keine Bewertung
Loading...