Αμοιβαία πληροφορία
Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών και , ως εξής:[1]:11[2]
ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler ως εξής:
Ιδιότητες Επεξεργασία
- (Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή , ισχύει ότι .
- (Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές και , ισχύει ότι .
- .
Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:
Δείτε επίσης Επεξεργασία
Παραπομπές Επεξεργασία
- ↑ Λιάβας, Αθανάσιος Π. «Στοιχεία Θεωρίας Πληροφορίας» (PDF). Τμήμα ΗΜΜΥ Πολυτεχνείο Κρήτης. Ανακτήθηκε στις 1 Μαΐου 2023.
- ↑ Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 9780471241959.
Αυτό το μαθηματικό λήμμα χρειάζεται επέκταση. Μπορείτε να βοηθήσετε την Βικιπαίδεια επεκτείνοντάς το. |