Θεωρία πληροφορίας: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
Γραμμή 122:
Άν και μερικές φορές χρησιμοποιείται σαν μια μετρική απόσταση,η απόκλιση του Kullback-Leibler δέν είναι μία πραγματική [[Μετρική(μαθηματικα)|μετρική]] εφ΄όσον δεν είναι συμμετρική και δεν ικανοποιεί την [[Τριγωνική ανισότητα]]
===Η απόκλιση του Kullback-Leibler των πρότερων απο την αληθεια===
Μια άλλη ερμηνεία της απόκλισης του Kullback-Leibler είναι αυτή:ας υποθέσουμε ότι ένας αριθμός X πρόκειται να επιλεχθεί απο ένα διακριτό σύνολο με την κατανομή της πιθανότητας p(X).Άν η Αλίκη ξέρει την πραγματική κατανομή p(X) ενώ ο Βασίλης πιστεύει οτι η κατανομή είναι q(X),τότε ο Βασίλης μπορει να είναι πιο έκπληκτος απο την Αλίκη,κατα μέσο όρο,βλέποντας την τιμή του X.Η απόκλιση του Kullback-Leibler είναι η αντικειμενική αναμενόμενη τιμή απο του Βασίλη την κατάπληξη μείον την κατάπληξη της Αλίκης,μετρημένη σε bit αν ο λογάριθμος είναι στην βάση 2.Έτσι, ο βαθμός στον οποίο πιστεύει ο Βασίλης είναι "λάθος",αυτό μπορεί να ποσοτικοποιηθεί με όρους του κατα πόσο είναι αναμενόμενο να τον κάνει "άσκοπα έκπληκτο".
===Άλλες ποσότητες===
Άλλες σημαντικές ποσότητες της θεωρίας πληροφοριών συμπεριλαμβανουν,την εντροπία Renyi(μια γενίκευση της εντροπίας),την διαφορική εντροπία(μια γενίκευση απο ποσότητες πληροφορίας σε συνεχόμενες κατανομές) και την κοινή υπο συνθήκη πληροφορία.
==Παραπομπές==
| |||