Ανισότητα λογαρίθμου-αθροίσματος

Στα μαθηματικά, η ανισότητα λογαρίθμου-αθροίσματος λέει ότι για μη-αρνητικούς πραγματικούς αριθμούς $a_{1},\ldots ,a_{n}$ και $b_{1},\ldots ,b_{n}$, ισχύει ότι

$\sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)\geq \left(\sum _{i=1}^{n}a_{i}\right)\log \left({\frac {\sum _{i=1}^{n}a_{i}}{\sum _{i=1}^{n}b_{i}}}\right).$

Η ανισότητα βρίσκει αρκετές εφαρμογές στην θεωρία πληροφορίας.

Απόδειξη

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Γένσεν:

$\lambda _{1}f(x_{1})+\ldots +\lambda _{n}f(x_{n})\geq f\left(\lambda _{1}x_{1}+\ldots +\lambda _{n}x_{n}\right),$

για κάθε $x_{1},\ldots ,x_{n}$ και $\lambda _{1},\ldots ,\lambda _{n}\geq 0$ με $\lambda _{1}+\ldots +\lambda _{n}=1$.

Έστω $a=\sum _{i=1}^{n}a_{i}$ και $b=\sum _{I=1}^{n}b_{i}$. Τότε,

$\sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)=a\cdot \sum _{i=1}^{n}{\frac {a_{i}}{a}}\log \left({\frac {a_{i}/a}{b_{i}/a}}\right)=-a\cdot \sum _{i=1}^{n}{\frac {a_{i}}{a}}\log \left({\frac {b_{i}/a}{a_{i}/a}}\right).$

(1)

Χρησιμοποιώντας την παραπάνω μορφή της ανισότητας Γένσεν για την κυρτή συνάρτηση $f(x)=-\log x$ με $\lambda _{i}=a_{i}/a$ και $x_{i}={\frac {b_{i}/a}{a_{i}/a}}$, έχουμε ότι

$-a\cdot \sum _{i=1}^{n}{\frac {a_{i}}{a}}\log \left({\frac {b_{i}/a}{a_{i}/a}}\right)\geq -a\cdot \log \left(\sum _{i=1}^{n}{\frac {a_{i}}{a}}\cdot {\frac {b_{i}/a}{a_{i}/a}}\right)\geq -a\cdot \log \left(\sum _{i=1}^{n}{\frac {b_{i}}{a}}\right)=-a\cdot \log \left({\frac {b}{a}}\right)=a\cdot \log \left({\frac {a}{b}}\right).$

(2)

Συνδυάζοντας τις (1) και (2) λαμβάνουμε την ζητούμενη ανισότητα.

Δείτε επίσης

• Εντροπία πληροφοριών
• Απόκλιση Kullback–Leibler
• Ανισότητα Γκιμπς