Λογάριθμος: Διαφορά μεταξύ των αναθεωρήσεων

Η [[εντροπία]] είναι χοντρικά μέτρο της αταξίας κάποιου συστήματος. Στην [[στατιστική θερμοδυναμική]], η εντροπία ''S'' ενός φυσικού συστήματος ορίζεται ως

:<math> S = - k \sum_i p_i \ln(p_i).\, </math>

Το άθροισμα αφορά όλες τις πιθανές καταστάσεις ''i'' του υπό εξέταση συστήματος, όπως οι θέσεις των σωματιδίων αερίου σε ένα δοχείο. Επιπλέον, ''p''_''i'' είναι η πιθανότητα ότι έχει επιτευχθεί η κατάσταση ''i'' και ''k'' είναι η [[σταθερά Boltzmann]]. Παρομοίως, η [[εντροπία (θεωρία πληροφοριών)|εντροπία στη θεωρία πληροφοριών]] μετράει την ποσότητα της πληροφορίας/ Αν ένας αποδέκτης μηνύματος αναμένει οποιοδήποτε από τα ''N'' πιθανά μυνήματα με την ίδια πιθανότητα, τότε η ποσότητα πληροφορίας που μεταβιβάζεται από οποιοδήποτε τέτοιο μήνυμα ποσοτικοποιείται ως log₂(''N'') bit.<ref>{{Citation|last1=Eco|first1=Umberto|author1-link=Umberto Eco|title=The open work |publisher=Harvard University Press|isbn=978-0-674-63976-8|year=1989}}, ενότητα III.I</ref>