Εντροπία πληροφοριών: Διαφορά μεταξύ των αναθεωρήσεων

Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
Χωρίς σύνοψη επεξεργασίας
Χωρίς σύνοψη επεξεργασίας
Γραμμή 34:
'Εστω η τυχαία μεταβλητή ''Χ'' μπορεί να πάρει ''n'' τιμές που είναι ισοπίθανες μεταξύ τους, ''p=1/n''. Η εντροπία τότε είναι:
:<math>H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n</math>.
Έτσι σε μια πηγή πληροφορίας χωρίς μνήμη(η εμφάνιση ενός συμβόλου δεν εξαρτάται από την εμφάνιση κάποιου άλλου συμβόλου) και στην οποία όλα της τα σύμβολα είναι ισοπίθανα τότε έχουμε μέγιστη τιμή εντροπίας '''H<sub>max</sub>''' .
 
Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.