Ανισότητα Γκιμπς

Στα μαθηματικά, η ανισότητα Γκιμπς ή ανισότητα πληροφορίας (αναφέρεται και ως ανισότητα Gibbs) λέει ότι για οποιεσδήποτε δύο διακριτές κατανομές $p=(p_{1},\ldots ,p_{n})$ και $q=(q_{1},\ldots ,q_{n})$, ισχύει ότι

$-\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}$.

Η ανισότητα παίρνει το όνομά της από τον Τζοσάια Γουίλαρντ Γκιμπς.

Αποδείξεις

Απόδειξη με ανισότητα Τζένσεν

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Τζένσεν για κοίλη συνάρτηση $f$ και τυχαία μεταβλητή $X$:

$E[f(X)]\geq f(E[X]).$

Θεωρούμε την τυχαία μεταβλητή $X$ με κατανομή την $p$ και την συνάρτηση $f(x)=\log x$, που είναι κυρτή. Επομένως,

$-\sum _{i=1}^{n}p_{i}\log \left({\tfrac {p_{i}}{q_{i}}}\right)=\sum _{i=1}^{n}p_{i}\log \left({\tfrac {q_{i}}{p_{i}}}\right)=E\left[\log \left({\tfrac {q_{x}}{p_{x}}}\right)\right]\geq \log \left(E\left[{\tfrac {q_{x}}{p_{x}}}\right]\right)\geq \log \left(\sum _{i=1}^{n}p_{i}{\tfrac {q_{i}}{p_{i}}}\right)=\log \left(\sum _{i=1}^{n}q_{i}\right)=\log 1=0$.

Αναδιατάσσοντας, λαμβάνουμε την ανισότητα Γκμιπς,

$-\sum _{i=1}^{n}p_{i}\log \left({\tfrac {p_{i}}{q_{i}}}\right)\geq 0\Leftrightarrow -\sum _{i=1}^{n}p_{i}\log p_{i}\geq -\sum _{i=1}p_{i}\log q_{i}$.

Απόδειξη με ανισότητα λογαρίθμου-αθροίσματος

Η ανισότητα λογαρίθμου-αθροίσματος δίνει ότι για οποιεσδήποτε ακολουθίες $a_{1},\ldots ,a_{n}$ και $b_{1},\ldots ,b_{n}$

$\sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)\geq a\log \left({\frac {a}{b}}\right)$,

όπου $a=\sum _{i=1}^{n}a_{i}$ και $b=\sum _{i=1}^{n}b_{i}$.

Θέτοντας $a_{i}=p_{i}$ και $b_{i}=q_{i}$, τότε $a=b=1$, λαμβάνουμε

$\sum _{i=1}^{n}p_{i}\log \left({\frac {p_{i}}{q_{i}}}\right)\geq 1\log \left({\frac {1}{1}}\right)=0$.

Αναδιατάσσοντας όπως στην προηγούμενη απόδειξη, λαμβάνουμε το ζητούμενο.

Δείτε επίσης

• Εντροπία πληροφοριών
• Απόκλιση Kullback–Leibler (Χρησιμοποιείται στην απόδειξη ότι η απόκλιση είναι πάντοτε μη-αρνητική)
• Θεωρία πληροφορίας
• Ανισότητα λογαρίθμου-αθροίσματος