Crawl Optimization: So optimierst du die Crawlability für Website Crawler!

Für eine suchmaschinenfreundliche Website solltest du nicht nur darauf achten, dass sich für deine Website eine gesunde Backlink-Struktur entwickelt. Du solltest deine Links innerhalb der eigenen Website nicht vergessen.

Auch bei der internen Verlinkung werden gerne Fehler gemacht, die für eine Website fatale Folgen haben können.

Bei Framesets auf Indexierungsmöglichkeiten der Spider achten

Zunächst einmal solltest du darauf achten, dass die Seiten deiner Webseite von den Suchmaschinen überhaupt gefunden und indexiert werden können. Gerade bei so genannten Framesets oder auch iFrames wird gerne vergessen, dass die Robots der Suchmaschinen lediglich die Startseite finden und keine weiteren Links innerhalb der Site erkennen.

Abhilfe schafft in diesem Fall eine Link-Struktur deiner Site innerhalb des NOFRAME-Bereichs der Startseite oder auch ein einzelner dort platzierter Link zu einer speziell angelegten Sitemap deiner Web-Präsenz.

Auf Meta-TAG „robots“ und auf „robots.txt“ achten

Hat man in den Anfängen des Internets vorwiegend Websites in Form von Frameset-Darstellungen gefunden, finden sich heute allerdings überwiegend Webseiten die in Tabellenform oder auch Darstellungen im CSS-Format und somit hat sich die Frage der Auffindbarkeit von internen Links zumeist erübrigt.

Aber auch hier kannst du den Spider der Suchmaschine „aussperren“, wenn du beispielsweise übersehen hast, dass in dem META-TAG „robots“ die Anweisung „NOINDEX“ gegeben wurde. Ähnlich sieht es aus, wenn sich auf deinem Server eine „robots.txt“ befindet und du dort die „kleine Anweisung“:

gegeben hast. Der winzig kleine „Slash“ besagt nämlich, dass du keinem Spider erlaubst, die Seiten zu indexieren. Derartige Fehler dürfte ein Webmaster aber relativ schnell erkannt haben, wenden wir uns daher den regulären Hyperlinks innerhalb einer Website zu.

Flache Site-Struktur erhöht die Stärke der Unterseiten

Je nach Struktur der angelegten Website kannst du die Stärke deiner eigenen Unterseiten beeinflussen. Hast du deine Website so angelegt, dass sich für die Unterseiten nur eine weitere Ebene ergibt, wird die Stärke deiner Startseite, vermindert um einen (PageRank) Punkt an die Unterseiten weiter gegeben.

Mit jeder weiteren Ebene vermindert sich die Stärke der Unterseite und damit auch eine mögliche Relevanz für die Anzeige in den Ergebnislisten der Suchmaschinen.

Interne Verlinkung nicht vernachlässigen und nicht übertreiben

Grundsätzlich solltest du darauf achten, dass die gesamte Website mit einer gesunden Struktur von Hyperlinks zu den übrigen Seiten durchsetzt ist. „Gesund“ heißt, du solltest weder mit Verweisen zu deinen Unterseiten zu sparsam umgehen, noch solltest du es mit der Anzahl der Verweise übertreiben.

Verweise die beispielsweise ausschließlich in den tiefsten Ebenen angebracht sind und auf weitere Seiten verweisen werden unter Umständen von den Suchmaschinen gar nicht mehr indexiert. Die Anbringung von übermäßig vielen Verweisen (möglicherweise noch auf allen Seiten) kann bewirken, dass deine Site als Spam-Seite gewertet und somit zu mindestens nicht prominent gelistet wird.

Hyperlinks der Navigation nach Möglichkeit unten im Quelltext platzieren

Soweit es deine Kenntnisse erlauben empfiehlt es sich auch, die Navigation im Quelltext nach unten zu setzen. Damit gibst du den Suchmaschinen die Möglichkeit, sofort die relevanten Textinhalte zu finden und auch in den Text-Snippets der Suchergebnisse mit anzuzeigen.

Auf Verhältnis Content-Inhalte zum übrigen Quelltext achten

In sehr vielen Websites bildet der Aufbau der Navigation einen erheblichen Anteil des gesamten Quelltextes. Du solltest darauf achten, dass das Verhältnis Content-Inhalte zum übrigen Quelltext zugunsten der Content-Inhalte ausfällt, ansonsten besteht ebenfalls die Gefahr, dass die Seite als nicht relevant gewertet wird,

Text-Hyperlinks mit relevanten Keywords ausstatten

Auf jeden Fall solltest du dir aber Gedanken über die Darstellungsform der Hyperlinks machen. Zu empfehlen sind Text-Hyperlinks, die relevante Keywords oder Keyword-Kombinationen aufweisen. Gut gewählte Keywords helfen, dass die Suchmaschinen diese Seiten als relevant werten und im günstigsten Fall sehr prominent listen.

Hierbei solltest du außerdem darauf achten, dass sich die Keywords in der Navigation nicht zu häufig wiederholen. Eine Ansammlung gleicher Keywords kann ebenfalls bewirken, dass die Suchmaschinen deine Site als Keyword-Spam werten und somit ebenfalls schlechter listen.