Jeder Webseite wird von Google automatisch ein Crawling Budget, oder auch Crawl Budget genannt, zugewiesen, das beeinflusst, wie oft und sorgfältig der Googlebot die Seite crawlt. Dies wiederum kann Einfluss auf das Ranking haben.
In diesem Artikel erfährst du daher, was das Crawling Budget genau ist und was du im Rahmen der Suchmaschinenoptimierung tun kannst, damit Google deiner Webseite genügend Crawl Budget zuspricht.
Inhaltsverzeichnis
Was ist das Crawling Budget?
Der Googlebot crawlt bekanntlich jede Webseite und indexiert die dazugehörigen URLs. Das Crawling Budget bezeichnet die Anzahl der Seiten, die der Googlebot auf einer Webseite höchstens crawlt.
Es liegt natürlich in deinem Interesse, dass der Googlebot oft auf deiner Webseite vorbeischaut und alle Seiten crawlt. Tut er dies nicht, bleiben mitunter neue Unterseiten, die du anlegst, unentdeckt und erzielen keine Rankings bei Google.
Erfahrene SEO Agenturen wie die https://seoagents.de beachten deshalb bei der Suchmaschinenoptimierung immer auch die Einflussfaktoren auf das Crawl Budget.
Was beeinflusst das Crawling Budget negativ?
Kurz gesagt solltest du auf deiner Webseite auf hochwertige Inhalte achten und fehlerhafte und qualitativ minderwertige Unterseiten vermeiden, damit dein Crawling Budget vom Googlebot nicht herabgestuft wird.
In einem Google-Artikel gaben die Betreiber der Suchmaschine bekannt, dass URLs mit geringem Mehrwert, wie etwa Soft-Error-Seiten oder Seiten mit Duplicate Content, das Crawling des Googlebots negativ beeinflussen. Auch Seiten mit Thin Content oder vielen Unterseiten, aber wenig Backlinks haben häufig das Problem, von Google zu wenig Crawl Budget zugesprochen zu bekommen
Die Folgen eines verringerten Crawling Budgets liegen auf der Hand: Neue Inhalte, die du veröffentlichst, werden dann mitunter nicht mehr vom Googlebot erfasst, also tauchen sie auch nicht in den Suchergebnissen auf. Interessenten und potentielle Kunden, die du mit deinen Inhalten erreichen willst, entgehen dir somit.
Langfristig sinkt deine Webseite außerdem im Ranking, wenn neuen Inhalte nur noch sporadisch erfasst werden oder mittlerweile alt gewordene Inhalte immer noch nicht indexiert wurden. Es ist also wichtig, das Crawling Budget im Auge zu behalten und zu verhindern, dass es herabgestuft wird.
Die Crawl Optimization: So beeinflusst du das Crawling Budget positiv
Maßnahmen, die dazu dienen, ein möglichst hohes Crawl Budget zu erhalten, werden in der Suchmaschinenoptimierung unter dem Begriff Crawl Optimization geführt. Im ersten Schritt schließen SEO-Experten dabei zunächst u. a. mithilfe der robots.txt-Datei fehlerhafte und unwichtige Seiten vom Crawling aus.
Auf diese Weise wird sichergestellt, dass der Googlebot das Crawl Budget für die wichtigeren Unterseiten verwendet und keinen Anstoß an den „schlechten“ Seiten nimmt. Anschließend werden die bedeutenden Seiten, die häufig gecrawlt werden sollen, optimiert. Dies gelingt zum Beispiel durch eine vorbildliche interne Verlinkung und eine Verbesserung der Usability und Ladezeiten.
Doch auch eine flache Seitenstruktur ist hilfreich, damit du das dir von Google zugesprochene Crawl Budget optimal nutzt. Heißt jede Unterseite sollte von der Startseite aus mit maximal vier bis fünf Klicks erreicht werden können. Außerdem solltest du interne Links, die auf 404-Fehlerseiten verweisen, tunlichst vermeiden.
Auch alle anderen Faktoren, die allgemein für die Suchmaschinenoptimierung wichtig sind, wirken sich zumeist positiv auf das Crawl Budget aus. Sorge also dafür, dass deine Webseite hochwertige Inhalte enthält, einwandfrei läuft, keine Fehlerseiten hat und wenn sie sehr umfangreich ist, genügend Backlinks von anderen Seiten bekommt. Denn dann musst du dir im Prinzip über das Crawl Budget wenig Gedanken machen.
Wer muss sich um das Crawling Budget sorgen?
In erster Linie ist das Crawl Budget für große Webseiten mit sehr vielen Unterseiten bedeutsam. Kleinere Webseiten müssen sich laut Google nicht um ihr Crawling Budget sorgen. Es empfiehlt sich jedoch, auf Nummer sicher zu gehen und dem Googlebot das Crawling zu vereinfachen, indem oben beschriebene Maßnahmen umgesetzt werden.
Zumal ja diese Faktoren, die das Crawling Budget positiv beeinflussen, auch für die Suchmaschinenoptimierung allgemein bedeutsam sind. Ermögliche dazu dem Googlebot einfach ein effizientes Crawling ohne Störfaktoren, dann werden deine neuen Inhalte in der Regel auch jederzeit schnell erfasst.
Loading...
