Θεωρία πληροφορίας: Διαφορά μεταξύ των αναθεωρήσεων

H βασική μέτρηση της πληροφορίας είναι η [[εντροπία πληροφοριών]], η οποία συνήθως εκφράζεται με το μέσο αριθμό των bits που χρειάζονται για να αποθηκευθεί ή να μεταβιβαστεί ένα σύμβολο σε ένα μήνυμα. Η εντροπία πληροφοριών ποσοτικοποιεί την αβεβαιότητα που εμπλέκεται στην πρόβλεψη της τιμής μίας [[τυχαία μεταβλητή|τυχαίας μεταβλητής]]. Για παράδειγμα,ο προσδιορισμός του αποτελέσματος από μία δίκαιη «ρίψη νομίσματος»(–[[Κορώνα ή γράμματα]] -δύο ισοδύναμα πιθανά αποτελέσματα ) παρέχει λιγότερες πληροφορίες (μικρή εντροπία) από τον προσδιορισμό του αποτελέσματος από μία ρίψη ενός [[ζάρι|ζαριού]](6 ισοδύναμα πιθανά αποτελέσματα).

Οι εφαρμογές από τα θεμελιώδη θέματα της θεωρίας της πληροφορίας περιλαμβάνουν την μη απωλεστική συμπίεση δεδομένων( ZIP files), απωλεστική συμπίεση δεδομένων (e.g. [[MP3]]s and [[JPEG]]),και την [[χωρητικότητα καναλιού]] (Ψηφιακή Συνδρομητική Γραμμή DSL). Ο τομέας είναι στην «διασταύρωση» των [[Μαθηματικά|μαθηματικών]] , της [[στατιστική]]ς, της [[Επιστήμη υπολογιστών|επιστήμης των υπολογιστών]] , της [[φυσική]]ς, της νευρολογίας και της [[Ηλεκτρολόγος μηχανικός|ηλεκτρικής εφαρμοσμένης μηχανικής]]. Οι επιπτώσεις του είναι κρίσιμες για την επιτυχία των αποστολών του Voyager στο διάστημα , την ανακάλυψη του δίσκου lazer ( cd), την πραγματοποίηση των κινητών τηλεφώνων , την εξέλιξη του [[Διαδίκτυο|διαδικτύου]]( Internet) , την επιστήμη της [[γλωσσολογία]]ς και της ανθρώπινης αντίληψης , την κατανόηση της [[Μαύρη τρύπα|Μαύρης Τρύπας]] και πολλών ακόμη άλλων πεδίων. Σημαντικά «υπο-πεδία» της θεωρίας πληροφορίας είναι ο [[πηγαίος κώδικας]], [[χωρητικότητα καναλιού]] , η αλγοριθμική θεωρία πολυπλοκότητας, η αλγοριθμική θεωρία της πληροφορίας, τα στοιχεία θεωρίας της ασφάλειας, καθώς και τα μέτρα ενημέρωσης.

Οι κύριες έννοιες της θεωρίας πληροφορίας μπορούν να γίνουν αντιληπτές λαμβάνοντας υπόψη το πιο διαδεδομένο μέσο της ανθρώπινης επικοινωνίας : την γλώσσα. Δύο σημαντικές πλευρές μιας περιεκτικής γλώσσας είναι : Πρώτον, οι πιο κοινές αγγλικές λέξεις (όπως "a", "the", "I") ) πρέπει να είναι συντομότερες από τις όχι τόσο κοινές λέξεις (όπως "roundabout", "generation", "mediocre") , έτσι ώστε οι προτάσεις να μην είναι πολύ μεγάλες. Μια τέτοια εξισορρόπηση στο μήκος των λέξεων είναι ανάλογη με την [[συμπίεση δεδομένων]] και είναι απαραίτητη πλευρά του [[πηγαίος κώδικας|πηγαίου κώδικα]]. Δεύτερον, αν ένα μέρος της πρότασης δεν ακούστηκε ή ακούστηκε λάθος λόγω ενός θορύβου -για παράδειγμα, ένα διερχόμενο αυτοκίνητο-ο ακροατής πρέπει να είναι ικανός να περισυλλέξει το νόημα από το υποκρυπτόμενο μήνυμα . Μία τέτοια σθεναρότητα είναι τόσο απαραίτητη για ένα ηλεκτρονικό σύστημα επικοινωνίας όσο και για την γλώσσα: Πιο σωστά, το «χτίσιμο» μιας τέτοιας σθεναρότητας στις επικοινωνίες γίνεται με την [[χωρητικότητα καναλιού]]. Ο πηγαίος κώδικας και η χωρητικότητα καναλιού είναι οι κύριες ασχολίες της θεωρίας της πληροφορίας.

Σημειώστε ότι αύτες οι ασχολίες δεν έχουν καμία σχέση με την σημαντικότητα των μηνυμάτων. Για παράδειγμα, μια κοινή εκφραση όπως το “Ευχαριστώ πολύ ”, χρειάζεται περίπου τον ίδιο χρόνο με το να πεις ή να γράψεις την επείγουσα έκκληση “Κάλεσε ασθενοφόρο” , καθώς το τελευταίο μπορεί να είναι πιο σημαντικό και με περισσότερο νόημα. Παρόλα αυτά η θεωρία πληροφορίας, δεν λαμβάνει υπ’όψη την σημαντικότητα του μηνύματος ή την σημασία του, επειδή αυτά είναι ζητήματα της ποιότητας των δεδομένων και όχι από την ποσότητα και την αναγνωσιμότητα των δεδομένων, η τελευταία εκ των οποίων καθορίζεται αποκλειστικά από τις πιθανότητες.

Η θεωρία πληροφορίας γενικά θεωρείται οτι έχει θεμελιωθεί το 1948 από τον [[Κλοντ Σάνον]] κατά την δημιουργική του δουλειά «A Mathematical Theory of Communication». Το κλασσικό παράδειγμα της θεωρίας της πληροφορίας είναι το μηχανικό πρόβλημα της μετάδοσης της πληροφορίας μέσα από έναν θορυβώδες κανάλι. Τα πιο θεμελιώδη αποτελέσματα από αυτήν την θεωρία είναι το θεώρημα του Σάνον για τον πηγαίο κώδικα, που καθιερώνει ότι, κατά μέσο όρο, ο αριθμός των δυαδικών ψηφίων (bits) που χρειάζονται για να αναπαρασταθεί το αποτέλεσμα ενός αβέβαιου γεγονότος δίνεται από την [[εντροπία πληροφοριών]] του, και από το θεώρημα του Σάνον για το θορυβώδες κανάλι μεταφοράς, το οποίο δηλώνει ότι η αξιόπιστη επικοινωνία είναι δυνατή σε θορυβώδη κανάλια με την προϋπόθεση ότι ο συντελεστής της επικοινωνίας είναι κάτω από ένα ορισμένο όριο, το οποίο ονομάζεται χωρητικότητα καναλιού. Στην πράξη μπορούμε να προσεγγίσουμε την χωρητικότητα καναλιού χρησιμοποιώντας κατάλληλα συστήματα κωδικοποίησης και αποκωδικοποίησης.

Η Θεωρία της Πληροφορίας συσχετίζεται με μια συλλογή απο καθαρές και εφαρμοσμένες επιστήμες που εχουν ερευνησει και έχουν καταφύγει στην άσκηση της μηχανολογίας κάτω απο μία πληθώρα κατηγοριών ανα τον κόσμο περισσότερο απο μισό αιώνα η και παραπάνω: Προσαρμοζόμενα συστήματα,συστήματα τεχνητής νοημοσύνης, [[τεχνητή νοημοσύνη]], πολύπλοκο σύστημα, [[επιστήμη συστημάτων]], [[πληροφορική]], [[μηχανική μάθηση]], μαζί με συστήματα επιστημών. H θεωρία της πληροφορίας είναι μία ευρής και «βαθιά» θεωρία, με εξίσου ευρείες και «βαθιές» εφαρμογές, όπου αναμεσα τους βρίσκεται και ο καίριος τομέας της Θεωρίας κωδικοποίησης.

Η Θεωρία της κωδικοποίησης ασχολειται βρίσκοντας ξεκάθαρες μεθόδους-κωδικες-για να αυξήσει την απόδοση και να μειώσει τα σφάλματα δικτύου της επικοινωνίας των δεδομένων απο ενα θορυβώδες κανάλι για να πλησιάσει το όριο που ο Σάνον απεδειξε οτι ειναι το μέγιστο δυνατό για ενα τέτοιο καναλι.Αυτοι Αυτοί οι κώδικες μπορούν να υποδιαιρεθούν σε [[συμπίεση δεδομένων]] και σε [[ανίχνευση και διόρθωση σφαλμάτων]]. Στην τελευταία αυτή περίπτωση πήρε πολλά χρόνια για να βρεθούν οι μέθοδοι,που ο Σάνον δουλεψε,αποδεικνύοντας ότι είναι εφικτές.Μιάς Μιας τρίτης τάξεως κώδικες της θεωρίας της πληροφορίας ειναι οι κρυπτογραφικοί αλγόριθμοι(κώδικες και αποκρυπτογραφήματα). Οι έννοιες, οι μεθόδοι και τα αποτελέσματα απο την Θεωρία Κωδικοποιησης και την Θεωρία της Πληροφορίας χρησιμοποιούνται ευρέως στην [[Κρυπτογραφία]] και στην [[Κρυπτανάλυση]].

Η Θεωρία της Πληροφορίας χρησιμοποιείται επίσης στην [[Ανάκτηση Πληροφοριών]], συλλογή πληροφοριών, στα [[τυχερά παιχνίδια]], στην [[στατιστική]], ακόμα και στην σύνθεση μουσικης.