Wayback Machine

OnPage SEO Buch

Hast du gewusst, dass im Internet eine Zeitreise längst möglich ist? Seit November 2001 ist im Internet eine Plattform im Betrieb, die Internetseiten bereits seit 1996 archiviert: Die Wayback Machine (Archive.org).

Diese “Zeitmaschine” hat bis heute fast 500 Milliarden Seiten aufgenommen. Pro Monat kommen etwa 100 Terabytes an verschiedenen digitalen Daten hinzu. Der Crawler vom Internet Archive durchläuft die Websites gewöhnlich innerhalb von 24 bis 48 Stunden. Die indexierten Seiten werden erst nach zirka 3 – 12 Monaten öffentlich zugänglich gemacht. Allerdings fehlen solche Internetseiten im Index, die für die automatische Archivierungssoftware noch nicht bekannt waren, oder nicht zugänglich sind (zum Beispiel geschützt mit einem Passwort). Ansonsten werden auch zugängliche Unterseiten archiviert, aber zumindest eine Startseite.

Damit du deine Reise in die Vergangenheit der Webseiten beginnen kannst, musst du lediglich ein URL in das Suchfeld eingeben. The Wayback Maschine zeigt als Ergebnis eine zeitlich geordnete Tabelle aller gespeicherten Seiten an, aus denen mit Hilfe von Monat und Jahr ausgewählt werden kann. So kannst du Internetseiten besuchen, die aktuell nicht mehr öffentlich zur Verfügung stehen.

Projekt Internet Archive

The Wayback Machine ist ein Teil des Internet Archivs (Englisch: Internet Archive). Internet Archive ist ein gemeinnützliches Projekt, das im Jahr 1996 von Brewster Kahle in San Francisco gegründet wurde. Dabei werden kurzlebige digitale Daten in frei zugänglicher Form gespeichert, um Einblick in die Ursprünge und Entwicklung des Internets zu gewährleisten.

Außer Momentaufnahmen von Webseiten werden auch Software, Videoaufnahmen, Tonaufnahmen, Filme, Bücher, Usenetbeiträge, Foren und ähnliches gespeichert. Jeder kann sein Beitrag leisten und Bilder oder digitale Dokumente zum Archivieren anbieten, um ein Spiegelbild unserer Gesellschaft als Ganzes festhalten zu können.

Ursprünglich wurde die Wayback Machine als Recherche-Werkzeug für Wissenschaftler, Studenten und Journalisten entwickelt. Eine Sicherungskopie der Daten des Internet Archive San Francisco befindet sich in der Neuen Bibliothek von Alexandria, Ägypten.

Cleverreach Banner
Cleverreach mobile Banner

Websites in die Wayback Machine aufnehmen

Die Wayback Machine durchsucht das Web und nimmt automatisch die Webseiten in ihren Index auf. Wenn du deine Website im Archiv nicht gefunden hast, gibt es folgende Möglichkeiten diese zum Archiv hinzufügen:

  1. Du besuchst Alexa und trägst deine Website direkt dort ein.
  2. Wenn du die Alexa Toolbar installiert hast, surfe darüber deine Website an.

Alexa ist eine Suchmaschine, die das Internet seit 1996 durchsucht und archiviert.

Websites aus der Wayback Machine entfernen, bzw. die Aufnahme verbieten

Internet Archive hat kein Interesse auf Aufnahme von Websites und Internet Dokumenten von Personen oder Organisationen, die es nicht wünschen. Um die Aufnahme in den Index zu verhindern, beziehungsweise die dort aufgenommenen Websites zu entfernen, genügt es, eine robots.txt-Datei im Hauptverzeichnis auf deinem Webserver abzulegen.

Die robots.txt Datei hat folgende Auswirkung:

  • Alle deine Dokumente und Webseiten werden aus der Wayback Machine entfernt.
  • Deine Webseiten werden auch in der Zukunft nicht mehr gecrawlt.
  • Die robots.txt Datei benutzt hierfür folgende Syntax:

Bevor eine Archivierungs -Anfrage ausgeführt wird, erfolgt grundsätzlich eine Prüfung der aktuellen robots.txt. auf dem Webserver. Durch diesen Mechanismus werden die Änderungen sofort wirksam.

Nachtrag: DMCA Takdown GeneratorMittlerweile wird die robots.txt von Archive.org ignoriert. Um seine Seiten aus der Wayback Machine zu löschen ist es nun notwendig DMCA Takedown einzureichen. Dafür kann dieser verwendet werden.

Sollte deine Website noch nicht in der Wayback Machine gespeichert sein, kannst du die Eintragung deiner Seiten auch durch die Aussperrung des Wayback Crawlers in der .htaccess Datei verhindern. Dazu reicht folgender Code:

Bewerte diesen Artikel
1 Stern2 Sterne3 Sterne4 Sterne5 Sterne


Bis jetzt keine Bewertung
Loading...