|
Η '''εντροπία''' στη [[θεωρία πληροφορίας]] είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα.
Ο όρος ''εντροπία'' χρησιμοποιήθηκε αρχικά στη [[θερμοδυναμική]] (βλ. [[εντροπία]]).
Στη θεωρία πληροφορίας εισήχθη από τον [[Κλωντ Σάνον]] το [[1948]] και γι' αυτό ονομάζεται και ''εντροπία του Σάνον''. Η εντροπία της θερμοδυναμικής μπορεί να ιδωθεί ως εφαρμογή της εντροπίας στη θεωρία πληροφορίας.
== Ορισμός ==
Έστω ένα [[πείραμα τύχης]] με n πιθανά αποτελέσματα. Θεωρούμε την [[τυχαία μεταβλητή]] ''X'' και τα απλά ενδεχόμενα ''x''<sub>1</sub>...''x''<sub>n</sub> που πραγματοποιούνται με πιθανότητες ''p''<sub>1</sub>...''p''<sub>n</sub> <math>(\sum_{i=1}^np_i=1)</math> αντίστοιχα.
Η εντροπία ορίζεται ως:
:<math>H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i,</math>
με την σύμβαση <math>0\log_20=0</math>.
== Παραδείγματα ==
[[Αρχείο:Binary entropy plot.png|right|thumb|Η εντροπία σε μία [[δοκιμή Bernoulli]] ως συνάρτηση της πιθανότητας επιτυχίας <math>Pr(X=1)=p</math>]]
=== Δοκιμή Bernoulli ===
Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας ''p''. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με ''Ν'' μπάλες, ''Νp'' από τις οποίες είναι λευκές και ''Ν(1-p)'' μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (''p=1'' ή ''p=0'' αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, ''p=0,5''.
=== Ισοπίθανα γεγονότα ===
'Εστω η τυχαία μεταβλητή ''Χ'' μπορεί να πάρει ''n'' τιμές που είναι ισοπίθανες μεταξύ τους, ''p=1/n''. Η εντροπία τότε είναι:
:<math>H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n</math>.
Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.
{{επέκταση}}
[[Κατηγορία:Θεωρία της Πληροφορίας]]
| 