|
[[Image:CDSCRATCHES.jpg|thumb|right|A picture showing scratches on the readable surface of a CD-R. Music and data CDs are coded using error correcting codes and thus can still be read even if they have minor scratches using [[error detection and correction]].]]
Η θεωρία κωδικοποίησης ειναιείναι αποαπό τις σημαντικότερες και πιο αμεσεςάμεσες εφαρμογές της θεωρίας πληροφορίας. Μπορεί να υποδιαιρεθεί σε θεωρία πηγαίου κώδικα και σε θεωρία κωδικοποίησης καναλιού. Χρησιμοποιώντας μία στατιστική περιγραφή για δεδομένα, η θεωρία της πληροφορίας προσδιοριζειπροσδιορίζει τον αριθμό των bits που χρειάζεται για να περιγραφούν τα δεδομένα, ο οποίος ειναιείναι η εντροπία πληροφορίας της πης πηγηςπηγής.
* Συμπίεση δεδομένων:Υπάρχουν δύο αναπτύγματα για το πρόβλημα της συμπίεσης:
#lossless data compression: τα δεδομένα πρεπειπρέπει να αναδομηθούν ακριβώς
#Lossy compression: κατανεμημενακατανεμημένα bits χρειάζονται για να αναδομηθούν τα δεδομένα, μέσα σε εναένα καθορισμένο επίπεδο πιστότητας μετρημένο αποαπό μία παραμορφωμένη συνάρτηση. Αυτό το υποσύνολο της θεωρίας της πληροφορίας λέγεται θεωρία παραμόρφωσης-τιμής.
* ΚωδικεςΚώδικες διόρθωσης σφαλμάτων : Ενώ η συμπίεση δεδομένων αφαιρεί όσο περιττολογία είναι δυνατόν, ένας κώδικας διορθωσηςδιόρθωσης σφαλμάτων προσθέτει ακριβώς το σωστό είδος του πλεονασμού που χρειάζεται για να μεταδοθούν τα δεδομένα ααποτελεσματικάαποτελεσματικά και έμπιστα στο θορυβώδες κανάλι.
Αυτή η "διαίρεση" της θεωρίας κωδίκοποίησηςκωδικοποίησης σε συμπίεση και μετάδοση δικαιολογέιταιδικαιολογείται αποαπό τα θεωρήματα πληροφορίας μετάδοσης, ή αποαπό τα θεωρήματα διαχωρισμού πηγής-καναλιού που δικαιολογούν την χρήση των bits σαν το παγκόσμιο "νόμισμα" για την πληροφορία σε πολλές περιπτώσεις.Ωστοσο Ωστόσο, αυτά τα θεωρήματα περιέχουν την κατάσταση όπου ένας χρήστης που μεταδίδει επιθυμεί να επικοινωνήσει με έναν χρήστη-αποδέκτη. Σε σενάρια με παραπάνω αποαπό έναν πομπούς, παραπάνω αποαπό ενανέναν αποδέκτη (το τηλεοπτικό κανάλι) ή ενδιάμεσους "βοηθούς" (το αναμεταδιδόμενο κανάλι) ή περισσότερα γενικά δίκτυα, συμπίεση ακολοθούμενηακολουθούμενη αποαπό μετάδοση δεν μπορεί πλέον να είναι η καλύτερη δυνατή. Η θεωρία πληροφορίας δικτύου αναφέρεται σ αυτά τα μοντέλα επικοινωνίας με πολλούς συντελεστές.
===Πηγαίος Κώδικας===
===Χωρητικότητα συγκεκριμένων μοντέλων καναλιού===
Ένα συνεχόμενο αναλογοανάλογο επικοινωνίας κανάλι υποκέιμενουποκείμενο στον θόρυβο Gaussian
Ένα δυαδικό συμμετρικό κανάλι(ΔΣΚ) διασταυρωμένο με την πιθανότητα p είναι μία δυαδική είσοδος,το δυαδικό κανάλι εξόδου το οποίο αντιστρέφει την είσοδο με πιθανότητα p. Το ΔΣΚ έχει χωρητικότητα <math>1 - H_\mbox{b}(p)</math> bits ανά κανάλι σε χρήση όπου <math>H_\mbox{b}</math> είναι η δυαδική συνάρτηση εντροπίας στον λογάριθμο με βαση 2:
::[[Image:Binary symmetric channel.svg]]
Ένα δυαδικό κανάλι διαγραφής(ΔΚΔ) με διαγραφόμενη πιθανότητα p ειναιείναι μια δυαδική είσοδος,τριαδικό κανάλι εξόδου.Οι πιθανές έξοδοι του καναλιού ειναι 0,1 και ένα τρίτο σύμβολο 'e' που ονομάζεται διαγραφή(erasure). To σύμβολο αυτό συμβολίζει την ολοκληρωτική απώλεια της πληροφορίας για ένα bit εισόδου. Η χωρητικότητα ενός ΔΚΔ ειναι 1-p bits ανα χρήση καναλιού.
::[[Image:Binary erasure channel.svg]]
| 