Θεωρία πληροφορίας: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
Γραμμή 131:
Άλλες σημαντικές ποσότητες της θεωρίας πληροφοριών συμπεριλαμβανουν,την εντροπία Renyi(μια γενίκευση της εντροπίας),την διαφορική εντροπία(μια γενίκευση απο ποσότητες πληροφορίας σε συνεχόμενες κατανομές) και την κοινή υπο συνθήκη πληροφορία.
==Θεωρία
[[Image:CDSCRATCHES.jpg|thumb|right|A picture showing scratches on the readable surface of a CD-R. Music and data CDs are coded using error correcting codes and thus can still be read even if they have minor scratches using [[error detection and correction]].]]
Η θεωρία
* Συμπίεση δεδομένων:Υπάρχουν δύο αναπτύγματα για το πρόβλημα της συμπίεσης:
Γραμμή 140:
#Lossy compression: κατανεμημενα bits χρειάζονται για να αναδομηθούν τα δεδομένα,μέσα σε ενα καθορισμένο επίπεδο πιστότητας μετρημένο απο μία παραμορφωμένη συνάρτηση.Αυτό το υποσύνολο της θεωρίας της πληροφορίας λέγεται θεωρία παραμόρφωσης-τιμής.
* Κωδικες διόρθωσης σφαλμάτων :Ενώ η συμπίεση δεδομένων αφαιρεί όσο περιττολογία είναι δυνατόν,ένας κώδικας διορθωσης σφαλμάτων προσθέτει ακριβώς το σωστό είδος του
Αυτή η "διαίρεση" της θεωρίας
===Πηγαίος Κώδικας===
Οποιαδήποτε διαδικασία που παράγει επιτυχημένα μηνύματα μπορεί να θεωρηθεί ως μια πηγή πληροφορίας. Μια πηγή χωρίς μνήμη είναι μια στην οποία κάθε μήνυμα είναι μια ανεξάρτητη, ταυτόσημα κατανεμημένη, τυχαία μεταβλητή , ενώ οι ιδιότητες της εργοδικής θεωρίας και της στατικής διαδικασίας επιβάλλουν πιο γενικούς περιορισμούς. Όλες αυτές οι πηγές είναι στοχαστικές. Αυτοί οι όροι είναι καλά μελετημένοι στα δικά τους πεδία ανεξάρτητα από το πεδίο της θεωρίας πληροφοριών.
===Ρυθμός===
Ο ρυθμός της πληροφορίας είναι η μέση η εντροπία για κάθε σύμβολο. Για πηγές χωρίς μνήμη, αυτό είναι απλά η εντροπία του κάθε συμβόλου, ενώ, στην περίπτωση μιας στατικής στοχαστικής διαδικασίας, είναι
:<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);</math>
Το οποίο είναι, η υπό συνθήκη εντροπία ενός συμβόλου δεδομένων όλων των προηγούμενων συμβόλων που παράχθηκαν. Στην πιο γενική περίπτωση μιας διαδικασίας που δεν είναι απαραίτητα στατική, ο μέσος ρυθμός είναι
:<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);</math>
που είναι, το όριο της κοινής εντροπίας ανά σύμβολο. Για στατικές πηγές, αυτές οι δυο εκφράσεις δίνουν το ίδιο αποτέλεσμα.
Είναι σύνηθες στην θεωρία της πληροφορίας να αναφερόμαστε στο «ρυθμό» ή την «εντροπία» μιας γλώσσας. Αυτό είναι κατάλληλο, για παράδειγμα, όταν η πηγή της πληροφορίας είναι η αγγλική πεζογραφία. Ο ρυθμός μιας πηγής πληροφορίας είναι συνδεδεμένος με τον πλεονασμό και με το πόσο καλά μπορεί να [[Συμπίεση δεδομένων|συμπιεστεί]] το αντικείμενο του '''πηγαίου κώδικα'''.
===Χωρητικότητα καναλιού===
Κύριο άρθρο: [[Χωρητικότητα καναλιού]]
Οι επικοινωνίες μέσω ενός καναλιού – όπως ένα καλώδιο [[Ethernet]] – είναι το πρωταρχικό κίνητρο της θεωρίας πληροφοριών. Όπως ο οποιοσδήποτε που έχει χρησιμοποιήσει ένα τηλέφωνο (σταθερό ή κινητό) ξέρει, ωστόσο, ότι τέτοια κανάλια συχνά αποτυγχάνουν να παράγουν ακριβή ανακατασκευή ενός σήματος: θόρυβο, περιόδους σιγής και άλλες μορφές φθοράς σήματος συχνά μειώνουν την ποιότητα. Πόση πληροφορία κάποιος μπορεί να ελπίζει να μεταδώσει μέσω ενός θορυβώδους (ή αλλιώς ημιτελούς) καναλιού;
Θεωρούμε τη διαδικασία επικοινωνίας μέσω ενός διακριτού καναλιού. Ένα απλό μοντέλο της διαδικασίας δίνεται παρακάτω:
[[Image:Comm Channel.svg|center|500px]]
Εδώ το Χ παριστάνει το σύνολο των μηνυμάτων που μεταδίδονται και Υ το σύνολο των εισερχόμενων μηνυμάτων στη μονάδα του χρόνου μέσω του καναλιού μας. Έστω <math>p(y|x)</math> η συνάρτηση της δεσμευμένης πιθανότητας κατανομής του Υ δεδομένου του Χ. Θα θεωρήσουμε την <math>p(y|x)</math> εγγενή σταθερή ιδιότητα του επικοινωνιακού μας καναλιού (που αντιπροσωπεύει τη φύση του θορύβου του καναλιού μας). Τότε η κοινή κατανομή του Χ και Υ είναι εντελώς καθορισμένη από το κανάλι μας και από την επιλογή της <math>f(x)</math> , η οριακή κατανομή των μηνυμάτων που διαλέγουμε να στείλουμε μέσω του καναλιού. Κάτω από αυτούς τους περιορισμούς θα θέλαμε να μεγιστοποιήσουμε το ρυθμό της πληροφορίας ή του [[Ηλεκτρικό σήμα|σήματος]] , που μπορούμε να μεταδίδουμε μέσω του καναλιού. Η κατάλληλη μέτρηση για αυτό είναι η κοινή πληροφορία και αυτή η μέγιστη κοινή πληροφορία καλείται [[Χωρητικότητα καναλιού]] και δίνεται από τον τύπο:
<math> C = \max_{f} I(X;Y).\! </math>
Αυτή η χωρητικότητα έχει την ακόλουθη ιδιότητα που σχετίζεται με τη μετάδοση μιας πληροφορίας σε ρυθμό R (όπου R είναι συνήθως bits ανά σύμβολο). Για οποιοδήποτε ρυθμό πληροφορίας R<C και σφάλμα κώδικα ε>0, για ένα αρκετά μεγάλο Ν, υπάρχει ένας κώδικας μήκους Ν και ρυθμού ≥ R και ένας αλγόριθμος αποκωδικοποίησης τέτοιος ώστε η μέγιστη πιθανότητα ενός τετραγωνικού σφάλματος να είναι ≤ ε. Είναι πάντα πιθανό να μεταδοθεί με αυθαίρετα μικρό τετραγωνικό σφάλμα. Επιπροσθέτως για οποιοδήποτε ρυθμό R>C , είναι απίθανο να μεταδοθεί με αυθαίρετα μικρό τετραγωνικό σφάλμα.
Η κωδικοποίηση καναλιού ασχολείται με το να βρει σχετικά βέλτιστους [[Ανίχνευση και διόρθωση σφαλμάτων|κώδικες]] που μπορούν να χρησιμοποιηθούν για να μεταδώσουν δεδομένα μέσω ενός θορυβώδους καναλιού με ένα μικρό σφάλμα κωδικοποίησης και ένα ρυθμό κοντά στη χωρητικότητα του καναλιού.
==Παραπομπές==
| |||