Θεωρία πληροφορίας: Διαφορά μεταξύ των αναθεωρήσεων

===Ρυθμός===

 

 

:<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);</math>

που είναι, το όριο της κοινής εντροπίας ανά σύμβολο. Για στατικές πηγές, αυτές οι δυο εκφράσεις δίνουν το ίδιο αποτέλεσμα.

Είναι σύνηθες στην θεωρία της πληροφορίας να αναφερόμαστε στο «ρυθμό» ή την «εντροπία» μιας γλώσσας. Αυτό είναι κατάλληλο, για παράδειγμα, όταν η πηγή της πληροφορίας είναι η αγγλική πεζογραφία. Ο ρυθμός μιας πηγής πληροφορίας είναι συνδεδεμένος με τον πλεονασμό και με το πόσο καλά μπορεί να [[Συμπίεση δεδομένων|συμπιεστεί]] το αντικείμενο του '''πηγαίου κώδικα'''.

===Χωρητικότητα καναλιού===

Κύριο άρθρο: [[Χωρητικότητα καναλιού]]