Crawl verbieten: Wie kann ich dem Google-Bot das Crawlen meiner Website verbieten?

OnPage SEO Buch

So, während ich noch am neuen Multi-Site-System von WordPress arbeite, habe ich einige neue Dinge gelernt. Bekannt ist beispielsweise folgender Code in der Datei robots.txt:

Allerdings kann es nun passieren, dass die Suchmaschinen sich dann 90 Tage nicht mehr blicken lassen. Natürlich kann man die Webseite auch per .htaccess schützen, aber sehr viel einfacher ist folgende Variante:

Die 43.200 geben die Anzahl der Sekunden wieder, in diesem Fall sind es 12 Stunden.

Bewerte diesen Artikel
1 Stern2 Sterne3 Sterne4 Sterne5 Sterne

22 Bewertung(en), durchschnittlich: 5,00 von 5

Loading...

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.