Block Bots: Wie kann ich Crawler blocken um mein PBN unauffindbar zu machen?

OnPage SEO Buch

Unter dem Blockieren von Bots versteht man das Treffen von Maßnahmen, welche ungewollten Bots den Zugriff zur eigenen (PBN-)Seite verweigern werden.

Zumeist sind die geblockten Bots die Crawler von Backlink-Checkern wie Majestic, Ahrefs, Sistrix, SEOkicks & Co. Es handelt sich hierbei um eine beliebte Praktik, die insbesondere bei Black Hat-Strategien wie dem privaten Blognetzwerk zum Einsatz kommt.

Wie funktioniert das Bots Blocking?

Robots.txt

Eine robots.txt, die Bots blockt, sieht beispielsweise folgendermaßen aus:

Das Problem hierbei: Die jeweiligen Bots müssen die Anweisungen der robots.txt überhaupt erst mal respektieren, bis diese greifen / wirksam werden. Hinzu kommt, dass die Datei öffentlich zugänglich ist und somit deine PBN-Seiten noch offensichtlicher als solche enttarnt werden können, sollte jemand zum Beispiel nach solchen robots.txt-Dateien crawlen. Weitere Details folgen im Lauf dieses Artikels

Htaccess

Eine Bots blockierende .htaccess-Datei sieht wie folgt aus:

Die .htaccess-Datei ist der robots.txt für das Blocken von Crawlern klar überlegen, da sie nicht öffentlich zugänglich ist, jegliche angegebene Bots auch wirklich ausgesperrt werden und sie generell viel mehr Funktionalität zulässt.

Im obigen Beispiel werden die aufgezählten Bots beispielsweise auf Rankwatcher weitergeleitet. 😀 Heutzutage ist von einem Redirect auf Rankwatcher zwar abzuraten, aber das Prinzip funktioniert noch immer gut (Weiterleitung auf Authority Site vortäuschen).

Darüber hinaus kann den Bots natürlich auch einfach der Zugang mit einem 403 Error Code verweigert werden. Zahlreiche Beispiele findest du mithilfe einer einfachen Google-Suche.

Plugins

Bei der dritten Methode, um die Backlink-Checker-Bots von der eigenen PBN-Seite fernzuhalten, handelt es sich um schlichte WordPress-Plugins wie Spider Blocker oder auch Link Privacy. Diese stellen mit Abstand die leichteste Möglichkeit dar, da sie lediglich voraussetzen, dass du weißt, wie man ein Plugin installiert. Den Rest wird das Plugin mehr oder weniger übernehmen.

Im Gegenzug gehen mit dieser Methode auch einige Probleme einher: Einerseits gelten die gleichen Probleme, die auch schon für die htaccess bzw. das Blocken von Bots generell gelten (siehe folgender Abschnitt), andererseits kommt hier noch hinzu, dass du ein WordPress-Plugin installierst, welches ausschließlich von Black Hat SEO-Seiten / PBNs installiert wird. Ein pauschales Abstrafen der Seiten, die es verwenden, stellt also kein Problem dar.

Mit diesem Gedanken im Hinterkopf sollte dir bewusst werden, dass es immer mal vorkommen kann, dass ein installiertes Plugin nach außen hin sichtbar wird, vor allem wenn gewisse WordPress-Sicherheitsvorkehrungen nicht getroffen werden. Zudem machst du dich vollkommen vom Plugin-Anbieter abhängig, da dieser über das eigene Wohl mit der Entwicklung des Plugins entscheidet. Sollte es mal „durchleaken“, kann das direkt zu Problemen führen.

Also insgesamt ist nur das Blocken per .htaccess wirklich empfehlenswert. In welchem Maße du das Bots Blocking aber wirklich genießen solltest, erfährst du im Folgenden.

Ottonova Banner
Ottonova mobile Banner

Warum solltest du es anwenden?

Der Grund liegt auf der Hand: Durch das Blocken von ungewollten Bots wird ein Mitbewerber die jeweilige PBN-Seite auch nie zu Gesicht bekommen. Wie auch? Der gängige Weg, wie ein Mitbewerber auf das eigene PBN stößt, verläuft über einen Backlink-Checker wie Majestic, welchem aber nun der Zugriff auf deine Seite verweigert wird. Folglich wird sie bei Majestic auch nicht als Backlink deiner Money Site gelistet werden.

Oftmals wird das Bots Blocking also als Präventivmaßnahme eingesetzt, um weitere Schritte, die Mitbewerber gegen dein PBN einleiten könnten, direkt zu unterbinden und gar nicht erst zu ermöglichen.

Majestic Anfrage

Klingt zu schön, um wahr zu sein, oder? Einfach das gesamte PBN blocken und nie wieder auf die Qualität der einzelnen Seiten achten, da sie ja sowieso nie jemand zu Gesicht bekommen wird.

Ganz so einfach ist es dann leider doch nicht. Einerseits können diese Bots, welche meist anhand ihrer „User Agents“ erfasst und geblockt werden, jederzeit emuliert werden. Das kannst du sogar selbst mal mit Hilfe eines der folgenden Plugins bei dir selbst ausprobieren:

Wichtig ist, dass das Plugin das Festlegen eigener Strings zulässt. Dann steht deinem Test auch nichts mehr im Wege: Gib beispielsweise „ahrefsbot“ (der Bot von Ahrefs) als User Agent an und ruft anschließend deine PBN-Seite auf, die dem entsprechenden Bot den Zugriff verweigern soll.

Abgesehen davon, ob dein Test nun erfolgreich ausfällt oder fehlschlägt, möchte ich damit lediglich verdeutlichen, dass alle Methoden, um Bots zu blockieren, einen Footprint hinterlassen. Ausschließlich Seiten, die etwas zu verbergen haben (also Black Hat SEO-Seiten), blocken Bots (von Backlink-Checkern). Das versteht auch Google und so könnte es früher oder später durchaus dazu kommen, dass Gegenmaßnahmen eingeleitet werden.

Momentan ist das Blocken von Bots noch absolut unbedenklich, klar. Dennoch möchte ich gewisse zukünftige Risiken aufzeigen, die dir bewusst sein sollten, wenn du in ein PBN investierst.

Vorteile von Bots Blocking

  • Geheimhalten einzelner PBN-Seiten / Schutz vor der Konkurrenz
  • Vollkommene Handlungsfreiheit
  • Gestaltung der Seite kann bewusst eingeschränkt werden / Reduzieren der Qualität
  • Schnelles Erstellen (teils) effektiver PBN-Seiten

Nachteile von Bots Blocking

  • Keine der Methoden zum Blocken von Bots läuft ohne Footprints ab
  • Nachhaltigkeit der PBN-Seite fragwürdig

Mein Ratschlag

Letztlich möchte ich infolge der einzeln betrachteten Aspekte des Blockieren von Bots noch ein praktikables Fazit für dich ziehen: Das Blockieren einzelner PBN-Seiten ist kein massiver Footprint und gängige Praxis bei nahezu jedem größeren PBN. Aber: Es sollte dennoch nicht exzessiv betrieben werden, insofern du ein relativ nachhaltiges Netzwerk führen möchtest.

Langfristig ist es sehr fragwürdig, ob dem Blockieren von Bots, wie wir es heute kennen, nicht früher oder später doch seitens Google nachgegangen wird. In diesem Fall ist es besser, lediglich bei manchen Seiten, und nicht dem gesamten Netzwerk, Bots zu blockieren. Über die Hälfte des Netzwerks sollte in der Regel nicht geblockt werden. Das ist eine Spanne, mit der sich wohl jeder anfreunden kann. Auf diese Art und Weise bist du auch im Fall der Fälle noch geschützt.

Bewerte diesen Artikel
1 Stern2 Sterne3 Sterne4 Sterne5 Sterne

31 Bewertung(en), durchschnittlich: 5,00 von 5

Loading...

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.