Εντροπία πληροφοριών: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
Λυδία (συζήτηση | συνεισφορές) Χωρίς σύνοψη επεξεργασίας |
Λυδία (συζήτηση | συνεισφορές) Χωρίς σύνοψη επεξεργασίας |
||
Γραμμή 1:
Η '''εντροπία''' στη θεωρία της πληροφορίας είναι ένα "μέτρο
Ο όρος ''εντορπία'' χρησημοποιήυηκε αρχικά στη [[θερμοδυναμική]] (βλ. [[εντροπία]]).
Γραμμή 10:
Θεωρούμε την [[τυχαία μεταβλητή]] ''X'' και τα απλά ενδεχόμενα ''x''<sub>1</sub>...''x''<sub>n</sub> που πραγματοποιούνται μα πιθανότητες ''p''<sub>1</sub>...''p''<sub>n</sub> <math>(\sum_{i=1}^np_i=1)</math> αντίστοιχα.
Η εντροπία ορίζεται ως:
:<math>H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i
με την σύμβαση <math>0\log_20=0</math>.
==Παράδειγμα==
[[Image:Binary entropy plot.png|right|thumb|Η εντροπία κατα μία δοκιμή Bernoulli ως συνάρτηση της πιθανότητας επιτυχίας <math>Pr(X=1)=p</math>]]
Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας ''p''.
Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με ''Ν'' μπάλες, ''Νp'' από τις οποίες είναι άσπρες και ''Ν(1-p)'' μαύρες από το οποίο τραβάμε τυχαία μία μπάλα.
Αν όλες οι μπάλες είναι ασπρες ή όλες είναι μαύρες (''p=1'' ή ''p=0'' αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0.
Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι ασπρες και οι μισές μαύρες, ''p=0,5''.
| |||