Εντροπία πληροφοριών: Διαφορά μεταξύ των αναθεωρήσεων

 

Ο όρος ''εντροπία'' χρησιμοποιήθηκε αρχικά στη [[θερμοδυναμική]] (βλ. [[εντροπία]]).

 

 

Έστω ένα [[πείραμα τύχης]] με n πιθανά αποτελέσματα. Θεωρούμε την [[τυχαία μεταβλητή]] ''X'' και τα απλά ενδεχόμενα ''x''₁...''x''_n που πραγματοποιούνται με πιθανότητες ''p''₁...''p''_n <math>(\sum_{i=1}^np_i=1)</math> αντίστοιχα.

με την σύμβαση <math>0\log_20=0</math>.

 

 

 

 

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας ''p''. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με ''Ν'' μπάλες, ''Νp'' από τις οποίες είναι λευκές και ''Ν(1-p)'' μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (''p=1'' ή ''p=0'' αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, ''p=0,5''.

 

 

'Εστω η τυχαία μεταβλητή ''Χ'' μπορεί να πάρει ''n'' τιμές που είναι ισοπίθανες μεταξύ τους, ''p=1/n''. Η εντροπία τότε είναι:

[[bar:Entropie (Informationstheorie)]]

[[bg:Ентропия на Шанън]]

[[cy:Entropi gwybodaeth]]

[[de:Entropie (Informationstheorie)]]