Deep Web

OnPage SEO Buch

Unter dem Begriff Deep Web (auch: Deep Web, Invisible Web, bzw. unsichtbares oder verstecktes Web genannt) versteht man denjenigen Teil des World Wide Web, der von Suchmaschinen nicht erfasst wird und deshalb bei einer Recherche nicht über übliche Suchmaschinen auffindbar ist.

Im Allgemeinen wird an dieser Stelle zwischen Inhalten, die von den Inhalte-Anbietern für die Suchmaschinen explizit gesperrt sind (z. B. passwortgeschützte Daten, Intranet) und den Inhalten, die aus technischen Gründen nicht erfassbar sind unterschieden . Bestimmte Inhalte können Suchmaschinen aus technischen Gründen nicht indexieren. Dazu gehören zum Beispiel Dokumente, die nicht als statische Seiten existieren, sondern erst auf Anfrage von einem Web-Dienst generiert werden (z. B. aus einer Datenbank).

Auch Dokumente in vielen verschiedenen Dateiformaten können nicht immer von Suchmaschinen erfasst werden. Es werden zum Beispiel Dateien im PDF-Format indexiert und gespeichert. Aber in der Regel werden dabei nur die ersten 100 – 120 KB eines Dokumentes erfasst, was ungefähr 100.000 Textzeichen entspricht. Das bedeutet, dass größere PDF-Dokumente nicht gespeichert werden und im Deep Web unsichtbar bleiben.

Es gibt viele Bemühungen von den Suchmaschinen-Anbietern das Deep Web / Invisible Web zugänglich und durchsuchbar zu machen. Dabei sind sie bemüht Tools zu veröffentlichen, welche die Möglichkeit bieten, nach bestimmten nicht öffentlich zugänglichen Inhalten im Deep Web zu suchen.

Eigenschaften

Nach einer Studie der Firma BrightPlant ergeben sich für das Deep Web folgende Eigenschaften:

  • Die Datenmenge des Deep Web ist zirka 400 – 550 mal größer als die des Surface Web.
  • Das Deep Web beinhaltet 7500 Terabyte Informationen, das Surface Web 19 Terabyte (Anmerkung: 1 Terabyte = 1024 Gigabyte).
  • Das Deep Web beinhaltet nahezu 550 Milliarden persönliche Dokumente, das Surface Web eine Milliarde.
  • Es existieren mehr als 200.000 Deep Websites.
  • 60 der größten Deep Web Seiten enthalten etwa 750 Terabyte an Informationen, was die Menge des Surface Web um den Faktor 40 übersteigt.
  • Durchschnittlich haben Webseiten aus dem Deep Web monatlich 50 % mehr Zugriffe, und sind öfter verlinkt als Webseiten aus dem Surface Web. Trotzdem ist der im Internet suchenden Öffentlichkeit die normale Deep Webseite kaum bekannt.
  • Das Deep Web ist die am schnellsten wachsende Kategorie von neuen Informationen im Web.
  • Deep Webseiten sind begrenzter und inhaltlich tiefer als Surface Webseiten.
  • Inhalte des Deep Web sind qualitativ 1000 bis 2000 mal höherwertig als Inhalte des Surface Web.
  • Inhalte des Deep Web sind bedeutend für jede Informationsabfrage und jedes Wissensgebiet.
  • Mehr als die Hälfte des Deep Web ist in themenspezifischen Datenbanken angesiedelt.
  • Mehr als 95 % des Deep Web sind frei zugänglich ohne dass Gebühren gezahlt werden müssten.

Da Bright Planet mit DQM2 eine kommerzielle Suchhilfe anbietet, ist die stark überschätzte Größenangabe mit großer Vorsicht zu genießen. Die geschätzte Datenmenge des Deep Web muss um einige Daten bereinigt werden:

  • Dubletten aus Bibliothekskatalogen die sich überschneiden
  • Datensammlung des National Climatic Data Center (370.000 GByte)
  • Daten der NASA (220.000 GByte)
  • Weitere Datensammlungen (National Oceanographic Data Center & National Geophysical Data Center, Right to know Network, Alexa, …)

Anhand der Anzahl der Datensätze zeigt sich, dass die Studie die Größe des Deep Web um das zehnfache überschätzt. Allein der Informationsanbieter Lexis Nexis zieht nach Anzahl der Datensätze mit dem Suchmaschinenprimus Google gleich. Das Deep Web ist daher sicher weitaus größer als das Oberflächenweb.

In einer Untersuchung der University of California, Berkeley aus 2003 wurden folgende Werte als Umfang des Internets ermittelt: Surface Web – 167 Terabyte, Deep Web – 91850 Terabyte. Die gedruckten Bestände der Library of Congress in Washington, der größten Bibliothek der Welt, umfassen 10 Terabyte.

Builderall Banner
Builderall mobile Banner

Arten des Deep Web

Nach Sherman & Price werden 4 bzw. 5 Typen des Invisible Web unterschieden:

  1. Opaque Web
  2. Private Web
  3. Proprietary Web
  4. Invisible Web & Truly invisible Web.

Opaque Web

Webseiten die indiziert werden könnten, zur Zeit aber aus Gründen der Performance oder Aufwand-Nutzen-Relation nicht indiziert werden (Suchtiefe, Besuchsfrequenz)

Suchmaschinen berücksichtigen nicht alle Verzeichnisebenen und Unterseiten (max. 100 KB) einer Webseite. Beim Erfassen von Webseiten steuern Webcrawler über Links zu den folgenden Webseiten. Webcrawler selbst können nicht navigieren, sich sogar in tiefen Verzeichnisstrukturen verlaufen, Seiten nicht erfassen und nicht zurück zur Startseite finden.

Aus diesem Grund berücksichtigen Suchmaschinen oft höchstens fünf oder zehn Verzeichnisebenen. Umfangreiche und somit relevante Dokumente können in tieferen Hierarchieebenen liegen und wegen der beschränkten Erschließungstiefe von Suchmaschinen nicht gefunden werden:

  • Dateiformate, die nur teilweise erfasst werden können (z. B. PDF, Google indiziert immer nur die ersten 120 KB – etwa 100.000 Textzeichen – einer PDF-Datei)
  • Häufigkeit der Indizierung einer Webseite (täglich, monatlich)
  • Ständig aktualisierte Datenbestände, Messdaten, Echtzeit-Daten
  • Webseiten ohne Hyperlinks oder Navigationsystem, unverlinkte Webseiten, Einsiedler-URLs oder Orphan-Seiten (deutsch: Waise)

Private Web

Webseiten die indiziert werden könnten, aber auf Grund von Zugangsbeschränkungen des Webmasters nicht indiziert werden: Webseiten im Intranet (interne Webseiten), passwortgeschützte Daten (Registrierung und evtl. Kennwort und Login), Zugang nur für bestimmte IP-Adressen, Schutz vor einer Indizierung durch den Robots Exclusion Standard, Schutz vor einer Indizierung durch die Meta-Tag-Werte noindex, nofollow und noimageindex im Quelltext der Webseite

Proprietary Web

Webseiten die indiziert werden könnten, die jedoch nur nach Anerkennung einer Nutzungsbedingung zugänglich sind (kostenlos oder kostenpflichtig).

Invisible Web

Webseiten die indiziert werden könnten, die jedoch aus kaufmännischen oder strategischen Gründen nicht indiziert werden.

Truly Invisible Web

Webseiten die nicht indiziert werden können:

  • Datenbankformate die vor dem WWW entstanden sind (Einige Hosts)
  • Dateiformate, die nicht erfasst werden können (zum Beispiel Flash und Grafikformate)
  • Komprimierte Daten
  • Webseiten, die nur über eine Benutzernavigation haben, die Grafiken (Image Maps) oder Scripte (Frames) benutzt
  • Dokumente, die nicht direkt im Browser angezeigt werden können
  • Nicht-Standardformate
  • Peer-to-Peer-Tauschbörsen
  • Multimedia-Dateien
  • FTP-Server
  • Chatroom
  • IRC
  • Von Suchmaschinen absichtlich vernachlässigte Daten

Lies auch meine Definition zum Surface Link!

Bewerte diesen Artikel
1 Stern2 Sterne3 Sterne4 Sterne5 Sterne


Bis jetzt keine Bewertung
Loading...