|
H βασική μέτρηση της πληροφορίας είναι η [[εντροπία πληροφοριών]], η οποία συνήθως εκφράζεται με το μέσο αριθμό των bits που χρειάζονται για να αποθηκευθεί ή να μεταβιβαστεί ένα σύμβολο σε ένα μήνυμα. Η εντροπία πληροφοριών ποσοτικοποιεί την αβεβαιότητα που εμπλέκεται στην πρόβλεψη της τιμής μίας [[τυχαία μεταβλητή|τυχαίας μεταβλητής]]. Για παράδειγμα, ο προσδιορισμός του αποτελέσματος από μία δίκαιη «ρίψη νομίσματος»(–[[Κορώνα ή γράμματα]] -δύο ισοδύναμα πιθανά αποτελέσματα ) παρέχει λιγότερες πληροφορίες (μικρή εντροπία) από τον προσδιορισμό του αποτελέσματος από μία ρίψη ενός [[ζάρι|ζαριού]](6 ισοδύναμα πιθανά αποτελέσματα).
Οι εφαρμογές από τα θεμελιώδη θέματα της θεωρίας της πληροφορίας περιλαμβάνουν την μη απωλεστική συμπίεση δεδομένων( (ZIP files), απωλεστική συμπίεση δεδομένων (e.g. [[MP3]]s and [[JPEG]]), και την [[χωρητικότητα καναλιού]] (Ψηφιακή Συνδρομητική Γραμμή DSL). Ο τομέας είναι στην «διασταύρωση» των [[Μαθηματικά|μαθηματικών]], της [[στατιστική]]ς, της [[Επιστήμη υπολογιστών|επιστήμης των υπολογιστών]], της [[φυσική]]ς, της νευρολογίας[[νευρολογία]]ς και της [[Ηλεκτρολόγος μηχανικός|ηλεκτρικής εφαρμοσμένης μηχανικής]]. Οι επιπτώσεις του είναι κρίσιμες για την επιτυχία των αποστολών του [[Voyager]] στο διάστημα, την ανακάλυψη του δίσκου lazer ( cd), την πραγματοποίησηυλοποίηση των κινητών τηλεφώνων, την εξέλιξη του [[Διαδίκτυο|διαδικτύου]]( Internet), την επιστήμη της [[γλωσσολογία]]ς και της ανθρώπινης αντίληψης, την κατανόηση της [[Μαύρη τρύπα|Μαύρης Τρύπας]] και πολλών ακόμη άλλων πεδίων. Σημαντικά «υπο-πεδία» της θεωρίας πληροφορίας είναι ο [[πηγαίος κώδικας]], [[χωρητικότητα καναλιού]], η αλγοριθμική θεωρία πολυπλοκότητας, η αλγοριθμική θεωρία της πληροφορίας, τα στοιχεία θεωρίας της ασφάλειας, καθώς και τα μέτρα ενημέρωσης.
==Επισκόπηση==
Οι κύριες έννοιες της θεωρίας πληροφορίας μπορούν να γίνουν αντιληπτές λαμβάνοντας υπόψη το πιο διαδεδομένο μέσο της ανθρώπινης επικοινωνίας: τηντη γλώσσα. Δύο σημαντικές πλευρές μιας περιεκτικής γλώσσας είναι : Πρώτον, οι πιο κοινές αγγλικές λέξεις (όπως "a", "the", "I") ) πρέπει να είναι συντομότερες από τις όχι τόσο κοινές λέξεις (όπως "roundabout", "generation", "mediocre"), έτσι ώστε οι προτάσεις να μην είναι πολύ μεγάλες. Μια τέτοια εξισορρόπηση στο μήκος των λέξεων είναι ανάλογη με την [[συμπίεση δεδομένων]] και είναι απαραίτητη πλευρά του [[πηγαίος κώδικας|πηγαίου κώδικα]]. Δεύτερον, αν ένα μέρος της πρότασης δεν ακούστηκε ή ακούστηκε λάθος λόγω ενός θορύβου -για παράδειγμα, ένα διερχόμενο αυτοκίνητο- ο ακροατής πρέπει να είναι ικανός να περισυλλέξει το νόημα από το υποκρυπτόμενο μήνυμα. Μία τέτοια σθεναρότητα είναι τόσο απαραίτητη για ένα ηλεκτρονικό σύστημα επικοινωνίας όσο και για την γλώσσα: Πιο σωστά, το «χτίσιμο» μιας τέτοιας σθεναρότητας στις επικοινωνίες γίνεται με την [[χωρητικότητα καναλιού]]. Ο πηγαίος κώδικας και η χωρητικότητα καναλιού είναι οι κύριες ασχολίες της θεωρίας της πληροφορίας.
Σημειώστε ότι αυτές οι ασχολίες δεν έχουν καμία σχέση με την σημαντικότητα των μηνυμάτων. Για παράδειγμα, μια κοινή έκφραση όπως το “Ευχαριστώ πολύ ”, χρειάζεται περίπου τον ίδιο χρόνο με το να πεις ή να γράψεις την επείγουσα έκκληση “Κάλεσε ασθενοφόρο”, καθώς το τελευταίο μπορεί να είναι πιο σημαντικό και με περισσότερο νόημα. Παρόλα αυτά η θεωρία πληροφορίας, δεν λαμβάνει υπ’όψη τη σημαντικότητα του μηνύματος ή τη σημασία του, επειδή αυτά είναι ζητήματα της ποιότητας των δεδομένων και όχι από την ποσότητα και την αναγνωσιμότητα των δεδομένων, η τελευταία εκ των οποίων καθορίζεται αποκλειστικά από τις πιθανότητες.
|
