Αμοιβαία πληροφορία
Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών και , ως εξής:[1]:11[2]
![](http://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/250px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png)
ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler ως εξής:
Ιδιότητες
Επεξεργασία- (Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή , ισχύει ότι .
- (Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές και , ισχύει ότι .
- .
Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:
Δείτε επίσης
ΕπεξεργασίαΠαραπομπές
Επεξεργασία- ↑ Λιάβας, Αθανάσιος Π. «Στοιχεία Θεωρίας Πληροφορίας» (PDF). Τμήμα ΗΜΜΥ Πολυτεχνείο Κρήτης. Ανακτήθηκε στις 1 Μαΐου 2023.
- ↑ Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 9780471241959.
Αυτό το μαθηματικό λήμμα χρειάζεται επέκταση. Μπορείτε να βοηθήσετε την Βικιπαίδεια επεκτείνοντάς το. |