Εντροπία πληροφοριών: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
μ Ρομπότ: Προσθήκη: cy, pt, ro, uk Τροποποίηση: en |
μΧωρίς σύνοψη επεξεργασίας |
||
Γραμμή 1:
Η '''εντροπία''' στη [[θεωρία
Ο όρος ''εντροπία''
Στη θεωρία
==Ορισμός==
Έστω ένα [[πείραμα τύχης]] με n πιθανά αποτελέσματα. Θεωρούμε την [[τυχαία μεταβλητή]] ''X'' και τα απλά ενδεχόμενα ''x''<sub>1</sub>...''x''<sub>n</sub> που πραγματοποιούνται με πιθανότητες ''p''<sub>1</sub>...''p''<sub>n</sub> <math>(\sum_{i=1}^np_i=1)</math> αντίστοιχα.
Η εντροπία ορίζεται ως:
:<math>H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i,</math>
Γραμμή 15 ⟶ 14 :
==Παραδείγματα==
[[Image:Binary entropy plot.png|right|thumb|Η εντροπία
===Δοκιμή Bernoulli===
Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας ''p''. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με ''Ν'' μπάλες, ''Νp'' από τις οποίες είναι λευκές και ''Ν(1-p)'' μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (''p=1'' ή ''p=0'' αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, ''p=0,5''.
===Ισοπίθανα γεγονότα===
| |||