Θεωρία πληροφορίας: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
Γραμμή 49:
==Ποσότητες πληροφορίας==
Η Θεωρία της πληροφορίας βασίζεται στη [[θεωρία πιθανοτήτων]] και
Η επιλογή της βάσης του λογαρίθμου στη φόρμουλα που επακολουθεί καθορίζει το σύνολο της πληροφορίας της [[Εντροπία πληροφοριών|εντροπίας]] που χρησιμοποιήθηκε. Η συνηθέστερη μονάδα της πληροφορίας είναι το [[Bit]], βασιζόμενο στον δυαδικό λογάριθμο(log<sub>2</sub> ''n'') . Άλλες μονάδες συμπεριλαμβανομένου του ''nat'', το οποίο βασίζεται στον φυσικό λογάριθμο (λογάριθμος με βαση το e), και στο ''hartley'' ή ''ban'' το οποίο βασίζεται στον κοινό [[λογάριθμος|λογάριθμο]] (λογάριθμος με
Σ´ αυτά που ακολουθούν, η έκφραση της μορφής <math>p \log p \,</math> θεωρείται συμβατικά να είναι ίση με 0 όταν <math>p=0.</math>.Αυτό δικαιολογείται επειδή <math>\lim_{p \rightarrow 0+} p \log p = 0</math> για οποιαδήποτε λογαριθμική βάση.
Γραμμή 60:
[[Image:Binary entropy plot.svg|thumbnail|right|200px|Entropy of a [[Bernoulli trial]] as a function of success probability, often called the '''[[binary entropy function]]''', <math>H_\mbox{b}(p)</math>. The entropy is maximized at 1 bit per trial when the two possible outcomes are equally probable, as in an unbiased coin toss.]]
Η [[Εντροπία πληροφοριών|εντροπία]], <math>H</math>, μιας διακριτής τυχαίας μεταβλητής <math>X</math> είναι ένα μέτρο της ποσότητας της αβεβαιότητας που σχετίζεται με τη τιμή του <math>X</math>.
Ας υποθέσουμε ότι μεταδίδονται 1000 bits (τα δυαδικά ψηφία 0 και 1). Εάν αυτά (bits) είναι γνωστά πριν από την μετάδοση (
<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>.
Γραμμή 80:
===Η υπό συνθήκη εντροπία===
Η υπό συνθήκη εντροπία ή υπό συνθήκη αβεβαιότητα του <math>X</math>, δεδομένης τυχαίας μεταβλητής <math>Y</math>
<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(y)}.</math>
Γραμμή 116:
===Kullback-Leibler απόκλιση===
Η απόκλιση του Κullback-Leibler (ή αλλιώς απόκλιση της πληροφορίας ή σχετική εντροπία) είναι ενας τρόπος για να συγκρίνεις δυο κατανομες:μια "πραγματικη" κατανομή πιθανοτήτων p(X) και μία αυθαίρετη κατανομή πιθανοτήτων q(X). Αν συμπιέσουμε δεδομένα με ένα τρόπο που υποθέτει ότι q(X) είναι η κατανομή πίσω απο κάποια δεδομένα,τότε στην πραγματικότητα το p(X) είναι η σωστή
<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \left( -p(x) \log {p(x)}\right) = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
Αν και μερικές φορές χρησιμοποιείται σαν μια μετρική απόσταση,η απόκλιση του Kullback-Leibler δέν είναι μία πραγματική [[Μετρική(μαθηματικα)|μετρική]] εφόσον δεν είναι συμμετρική και δεν ικανοποιεί την [[Τριγωνική ανισότητα]].
===Η απόκλιση του Kullback-Leibler των πρότερων απο την αληθεια===
Μια άλλη ερμηνεία της απόκλισης του ''Kullback-Leibler'' είναι αυτή: ας υποθέσουμε ότι ένας αριθμός X πρόκειται να επιλεχθεί απο ένα διακριτό σύνολο με την κατανομή της πιθανότητας p(X). Αν η Αλίκη ξέρει την πραγματική κατανομή p(X) ενώ ο Βασίλης πιστεύει οτι η κατανομή είναι q(X), τότε ο Βασίλης μπορει να είναι πιο έκπληκτος απο την Αλίκη, κατά μέσο όρο, βλέποντας την τιμή του X. Η απόκλιση του Kullback-Leibler είναι η αντικειμενική αναμενόμενη τιμή απο του Βασίλη την κατάπληξη μείον την κατάπληξη της Αλίκης, μετρημένη σε bit αν ο λογάριθμος είναι στην βάση 2. Έτσι, ο βαθμός στον οποίο πιστεύει ο Βασίλης είναι "λάθος", αυτό μπορεί να ποσοτικοποιηθεί με όρους του κατα πόσο είναι αναμενόμενο να τον κάνει "άσκοπα έκπληκτο".
===Άλλες ποσότητες===
Άλλες σημαντικές ποσότητες της θεωρίας πληροφοριών συμπεριλαμβάνουν, την εντροπία ''Renyi'' (μια γενίκευση της εντροπίας), την διαφορική εντροπία (μια γενίκευση απο ποσότητες πληροφορίας σε συνεχόμενες κατανομές) και την κοινή υπο συνθήκη πληροφορία.
==Θεωρία Κωδίκοποίησης==
| |||