Εντροπία πληροφοριών: Διαφορά μεταξύ των αναθεωρήσεων
Περιεχόμενο που διαγράφηκε Περιεχόμενο που προστέθηκε
Λυδία (συζήτηση | συνεισφορές) Χωρίς σύνοψη επεξεργασίας |
Λυδία (συζήτηση | συνεισφορές) Χωρίς σύνοψη επεξεργασίας |
||
Γραμμή 1:
Η '''εντροπία''' στη θεωρία της πληροφορίας είναι ένα μέτρο της μέσης [[πληροφορία|πληροφορίας]] που μας δίνει ένα σύστημα.
Ο όρος ''εντορπία'' χρησημοποιήυηκε αρχικά στη [[θερμοδυναμική]] (βλ. [[εντροπία]]).
Στη θεωρία της πληροφορίας εισήχθει από τον ''Shannon'' το 1938 και για αυτο τον λόγο ονομάζεται και ''εντροπία του Shannon''.
Πλέον η εντροπία της θερμοδυναμικής μπορεί να ειδωθεί ως εφαρμογή της εντροπίας της θεωρία της πληροφορίας.
==Ορισμός==
Έστω ένα [[πείραμα τύχης]] με n πιθανά αποτελέσματα.
Θεωρούμε την [[τυχαία μεταβλητή]] ''X'' και τα απλά ενδεχόμενα ''x''<sub>1</sub>...''x''<sub>n</sub> που πραγματοποιούνται μα πιθανότητες ''p''<sub>1</sub>...''p''<sub>n</sub> <math>(\sum_{i=1}^np_i=1)</math> αντίστοιχα.
Η εντροπία ορίζεται ως:
:<math>H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i.</math>
{{επέκταση}}
[[Κατηγορία:Θεωρία της Πληροφορίας]]
[[de:Entropie (Informationstheorie)]]
[[en:Information entropy]]
[[es:Entropía (información)]]
[[fr:Entropie de Shannon]]
[[ko:정보 엔트로피]]
[[it:Entropia (teoria dell'informazione)]]
[[he:אנטרופיה (סטטיסטיקה)]]
[[hu:Shannon-entrópiafüggvény]]
[[nl:Entropie (informatietheorie)]]
[[pl:Entropia (teoria informacji)]]
[[ru:Информационная энтропия]]
[[th:เอนโทรปีของข้อมูล]]
[[vi:Entropy thông tin]]
[[zh:熵 (信息论)]]
| |||