Deep Web

To deep web (επίσης γνωστό και ως deepnet, undernet, το αόρατο Web ή το κρυμμένο Web) αναφέρεται στο περιεχόμενο του World Wide Web που δεν ανήκει στον Επιφανειακό Web (Surface Web), το οποίο ευρετηριάζεται από μία συνηθισμένη μηχανή αναζήτησης.

Ο Mike Bergman, ιδρυτής του BrightPlanet, που επινόησε τη φράση, είχε πει πως το να ψάχνει κανείς στο Internet σήμερα είναι σαν να σέρνει ένα δίχτυ στην επιφάνεια του ωκεανού: πολλά μπορεί να πιαστούν στο δίχτυ, αλλά υπάρχει ένας πλούτος πληροφοριών που βρίσκονται βαθιά και επομένως δεν μπορούν να πιαστούν. Οι περισσότερες πληροφορίες του Web είναι θαμμένες μέσα σε ιστότοπους με δυναμικά παραγόμενες ιστοσελίδες, και οι συνηθισμένες μηχανές αναζήτησης δεν μπορούν να τις εντοπίσουν. Οι παραδοσιακές μηχανές αναζήτησης δεν μπορούν να ανακτήσουν το περιεχόμενο του deep Web. Αυτές οι σελίδες δεν υπάρχουν μέχρι να δημιουργηθούν δυναμικά ως το αποτέλεσμα μιας συγκεκριμένης αναζήτησης. Το deep Web είναι αρκετές τάξεις μεγέθους μεγαλύτερο από το επιφανειακό Web.

Μέγεθος

Σύμφωνα με εκτιμήσεις που έγιναν σε μία μελέτη στο Πανεπιστήμιο της Καλιφόρνιας, Μπέρκλεϋ (University of California, Berkeley) το 2001, το deep Web αποτελείται περίπου από 91.000 terabytes. Αντίθετα το επιφανειακό Web (που είναι εύκολα προσπελάσιμο από τις μηχανές αναζήτησης) είναι περίπου 167 terabytes. Η Βιβλιοθήκη του Κογκρέσου, υπολογίστηκε πως το 1997 είχε 3.000 terabytes. Το 2011, το YouTube υπολογίζεται ότι είχε αποθηκευμένα περίπου 200 εκατομμύρια βίντεο, συνολικού μεγέθους 5 petabytes ή 5000 terabytes. Ο υπολογισμός του μεγέθους του web διαφέρει από πηγή σε πηγή και έτσι υπάρχει ένα μεγάλο περιθώριο λάθους και κανένας αριθμός δε μπορεί να θεωρηθεί ως ακριβής. Ωστόσο σχετικά με τον αριθμό των πηγών του deep Web υπάρχουν πιο ακριβείς εκτιμήσεις: Το 2004 ο He ανακάλυψε 300.000 deep web sites σε ολόκληρο το Web , και σύμφωνα με τον Shestakov, περίπου 14.000 deep web sites υπήρχαν στο Ρώσικο τμήμα του Web το 2006.

Πληροφορίες του Deep Web

Οι πληροφορίες του Deep Web ανήκουν σε μία ή περισσότερες από τις παρακάτω κατηγορίες:

• Δυναμικά παραγόμενο περιεχόμενο: δυναμικές ιστοσελίδες οι οποίες δημιουργούνται ως αποτέλεσμα της εκτέλεσης κάποιας επερώτησης (query) ή προσπελαύνονται μόνο μέσω κάποιας φόρμας.
• Μη συνδεδεμένο περιεχόμενο: ιστοσελίδες οι οποίες δεν περιέχουν συνδέσμους από άλλες ιστοσελίδες, εμποδίζοντας έτσι τα προγράμματα που κάνουν Web crawling να επισκεφθούν το περιεχόμενό τους.
• Ιδιωτικό Web: ιστότοποι που απαιτούν εγγραφή (registration) και κωδικό πρόσβασης.
• Περιεχόμενο περιορισμένης πρόσβασης: ιστότοποι που περιορίζουν την πρόσβαση στις σελίδες τους με τεχνικό τρόπο (π.χ. χρησιμοποιώντας το Robots Exclusion Standard, CAPTCHAs, ή το no-cache Pragma στις επικεφαλίδες του πρωτοκόλλου HTTP, τα οποία απαγορεύουν στις μηχανές αναζήτησης να πλοηγούνται στις ιστοσελίδες τους ).
• Περιεχόμενο που δεν είναι σε μορφή HTML: κείμενα που συμπεριλαμβάνονται σε multimedia αρχεία (εικόνες ή video) ή που έχουν συγκεκριμένη μορφή την οποία δεν μπορούν να χειριστούν οι μηχανές αναζήτησης.
• Κείμενα που χρησιμοποιούν το παλαιότερο πρωτόκολλο Gopher και αρχεία που βρίσκονται σε διακομιστές FTP και τα οποία δεν μπορούν να εντοπιστούν από τις περισσότερες μηχανές αναζήτησης. Οι μηχανές αναζήτησης όπως η Google δεν δεικτοδοτούν ιστοσελίδες που βρίσκονται έξω από το πρωτόκολλο HTTP.

Προσπέλαση

Οι μηχανές αναζήτησης ανακαλύπτουν περιεχόμενο στο Web, χρησιμοποιώντας web crawlers που ακολουθούν συνδέσμους. Αυτή η τεχνική είναι ιδανική για να ανακαλύψει κανείς πληροφορίες στο Επιφανειακό Web (Surface Web) αλλά είναι αναποτελεσματική στην εύρεση πληροφοριών από το deep Web. Για παράδειγμα, αυτοί οι crawlers δεν προσπαθούν να βρουν δυναμικές ιστοσελίδες που προέρχονται από ερωτήματα σε βάσεις δεδομένων επειδή τα ερωτήματα αυτά θα ήταν θεωρητικά άπειρα.

Το 2005, η Yahoo! έκανε ένα μικρό κομμάτι του deep Web ερευνήσιμο με τη χρήση των Yahoo! Subscriptions. Αυτή η μηχανή αναζήτησης ψάχνει μόνο μέσω λίγων συνδρομητικών ιστοτόπων. Κάποιοι τέτοιοι ιστότοποι εμφανίζουν όλο τους το περιεχόμενο στα robots των μηχανών αναζήτησης, έτσι ώστε να εμφανίζονται στις αναζητήσεις των χρηστών, αλλά μετά εμφανίζουν στους χρήστες μία σελίδα για login ή συνδρομή.

Επιπλέον Ανάγνωση

• Barker, Joe (Jan 2004), «Invisible Web: What it is, Why it exists, How to find it, and its inherent ambiguity», Teaching Library Internet Workshops, Berkeley, CA, USA: UC, http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/InvisibleWeb.html .
• Gruchawka, Steve (June 2006), How-To Guide to the Deep Web, http://techdeepweb.com/, ανακτήθηκε στις 2012-01-09 .
• Hamilton, Nigel (2003), The Mechanics of a Deep Net Metasearch Engine, 12th World Wide Web Conference, http://www2003.org/cdrom/papers/poster/p170/poster/poster.html .
• He, Bin (2003). «Statistical Schema Matching across Web Query Interfaces» (PDF). Proceedings of the 2003 ACM SIGMOD International Conference on Management of Data. Αρχειοθετήθηκε από το πρωτότυπο στις 2011-07-20. https://web.archive.org/web/20110720085124/http://eagle.cs.uiuc.edu/pubs/2003/unifiedschema-sigmod03-hc-mar03.pdf. Ανακτήθηκε στις 2012-01-09. 
• Ipeirotis, Panagiotis G. (2001). «Probe, Count, and Classify: Categorizing Hidden-Web Databases» (PDF). Proceedings of the 2001 ACM SIGMOD International Conference on Management of Data, pp. 67–78. Αρχειοθετήθηκε από το πρωτότυπο στις 2006-09-12. https://web.archive.org/web/20060912141432/http://qprober.cs.columbia.edu/publications/sigmod2001.pdf. Ανακτήθηκε στις 2012-01-09. 
• King, John D.; Li, Yuefeng; Tao, Daniel; Nayak, Richi (November 2007). «Mining World Knowledge for Analysis of Search Engine Content» (PDF). Web Intelligence and Agent Systems: an International Journal 5 (3): 233–53. Αρχειοθετήθηκε από το πρωτότυπο στις 2008-12-03. https://web.archive.org/web/20081203104452/http://sky.fit.qut.edu.au/~kingj2/downloads/king07mining.pdf. Ανακτήθηκε στις 2012-01-09. 
• McCown, Frank; Liu, Xiaoming; Nelson, Michael L; Zubair, Mohammad (Mar/Apr 2006). «Search Engine Coverage of the OAI-PMH Corpus» (PDF). IEEE Internet Computing 10 (2): 66–73. doi:10.1109/MIC.2006.41. http://library.lanl.gov/cgi-bin/getfile?LA-UR-05-9158.pdf. 
• Price, Gary (2001). The Invisible Web: Uncovering Information Sources Search Engines Can't See. CyberAge Books. ISBN 0-910965-51-X. 
• Shestakov, Denis (June 2008). Search Interfaces on the Web: Querying and Characterizing. TUCS Doctoral Dissertations 104, University of Turku
• Wright, Alex (Mar 2004), In Search of the Deep Web, Salon, http://www.salon.com/tech/feature/2004/03/09/deep_web/ .
• Caio, Noilson (Jul 2011), Introdução a invisible web, http://ncaio.ithub.com.br/2011/07/18/introducao-a-invisible-web/, ανακτήθηκε στις 2012-01-09 .

Εξωτερικοί Σύνδεσμοι

• Whoriskey, Peter (Thursday, December 11, 2008), Firms Push for a More Searchable Federal Web, The Washington Post, σελ. D01, http://www.washingtonpost.com/wp-dyn/content/article/2008/12/10/AR2008121003241.html .