Εντροπία πληροφοριών: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
μ ορθ. |
Λυδία (συζήτηση | συνεισφορές) |
||
Γραμμή 13:
με την σύμβαση <math>0\log_20=0</math>.
==Παραδείγματα==
[[Image:Binary entropy plot.png|right|thumb|Η εντροπία κατα μία δοκιμή Bernoulli ως συνάρτηση της πιθανότητας επιτυχίας <math>Pr(X=1)=p</math>]]
===Δοκιμή Bernoulli===
Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας ''p''.
Γραμμή 21 ⟶ 24 :
Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι ασπρες και οι μισές μαύρες, ''p=0,5''.
===Ισοπίθανα γεγονότα===
'Εστω η τυχαία μεταβλητή ''Χ'' μπορεί να πάρει ''n'' τιμές που είναι ισοπίθανες μεταξύ τους, ''p=1/n''. Η εντροπία τότε είναι:
:<math>H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n</math>.
Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.
{{επέκταση}}
| |||