Google, Bing und Yahoo unterstützen das sogenannte “X-Robots-Tag”. Dabei handelt es sich um eine Erweiterung des altbekannten “Robots”-Tag, das man aus den Meta-Angaben im Header einer Website kennt. Beim X-Robots-Tag kann man zum Beispiel auch Content-Elemente wie “nosnippet” oder “noarchive” verwenden.
Offiziell eingeführt wurden diese Erweiterung im Jahr 2007. Erst Monate später sind die internen Testphasen beendet worden, so dass man sich bei Google und Yahoo dazu entschlossen hat, diese Tags auch definitiv zu unterstützen. Andere Suchmaschinen hatten einige Zeit darauf ebenfalls angekündigt diese Tags und Content-Elemente bald zu unterstützen. Heute unterstützt jede Suchmaschine die Rang und Namen hat, die X-Robots-Tags.
Beim Einbau des “X-Robots-Tag” in den Header ist wie üblich Vorsicht geboten. Wenn der HTTP-Header nicht in Ordnung ist, kann das dazu führen, dass Websites falsch oder gar nicht indiziert werden. Die untersützten Tags lauten derzeit:
- NOINDEX: Benutzen, wenn man Seiten von der Indizierung ausschließen will
- NOARCHIVE: Benutzen, wenn Seiten nicht im Cache der Suchmaschine erscheinen sollen
- NOSNIPPET: Benutzen, wenn keine Kurzbeschreibung in den Ergebnisseiten der Suchmaschinen erscheinen soll
- NOFOLLOW: Benutzen, wenn weiterführende Links von einer Website nicht verfolgt werden sollen
- NOODP: Sagt dem Crwaler, dass er für eine Seite keine Titel und Snippets aus dem Open Directory Project beziehen soll
- NOYDIR: Die Beschreibungen des Yahoo!-Verzeichnises erscheinen nicht in Yahoos Ergebnislisten
- UNAVAILABLE_AFTER: Der Suchmaschine wird mitgeteilt, dass eine Seite ab einem gewissen Datum nicht mehr zur Verfügung steht
Diese Anweisungen können in den Header-Bereich von einer HTML-Seite eingefügt werden. Bei Nicht-HTML-Content, können sie in den HTTP Header eingebunden werden.
Loading...
