Was du ansprichst, ist das sogenannte "Deep Web", was die "Allgemeinheit" kennt bezeichnet man auch gerne als "Surface Web".
Das Deep Web besteht zu großen Teilen aus themenspezifischen Datenbanken (Fachdatenbanken) und Webseiten, die erst durch Anfragen dynamisch aus Datenbanken generiert werden. Grob kann das Deep Web unterschieden werden in „Inhalte, die nicht frei zugänglich sind“ und „Inhalte, die nicht von Suchmaschinen indiziert werden“.
Es gibt natürlich noch verschiedene Arten des Deep Web, dazu gehören z.B.
Opaque Web (Webseiten, die indiziert werden könnten, zurzeit aber aus Gründen der technischen Leistungsfähigkeit oder Aufwand-Nutzen-Relation nicht indiziert werden (Suchtiefe, Besuchsfrequenz)).
Private Web (Webseiten, die indiziert werden könnten, aber auf Grund von Zugangsbeschränkungen des Webmasters nicht indiziert werden).
Ausserdem gibt es noch das Proprietary Web, das Invisible Web und das Truly Invisible Web.
Wenn du ein wenig in die Welt des "Deep Web" eintauchen möchtest:
http://www.robertlackie.com/invisible/index.html
http://www.completeplanet.com/