Κανονική κατανομή

Η κανονική κατανομή (γνωστή και ως γκαουσιανή κατανομή) αναφέρεται σε συνεχείς μεταβλητές αποτελώντας μία συνεχή συνάρτηση πυκνότητας πιθανότητας. Χρησιμοποιείται ως μία πρώτη προσέγγιση για να περιγραφούν τυχαίες μεταβλητές πραγματικών τιμών, οι οποίες τείνουν να συγκεντρώνονται γύρω από μια μέση τιμή. Η κανονική κατανομή αποτελεί την πιο σημαντική κατανομή της στατιστικής μεθοδολογίας για τους εξής βασικούς λόγους:

• Την κανονική κατανομή ακολουθούν είτε με ακρίβεια είτε με μεγάλη προσέγγιση τα περισσότερα συνεχή φαινόμενα.
• Πολλές ασυνεχείς κατανομές πιθανοτήτων μπορούν να προσεγγιστούν μέσω της κανονικής κατανομής. Για παράδειγμα πολλά πληθυσμιακά χαρακτηριστικά, όπως το ύψος, το βάρος η βαθμολογία σε διαγώνισμα, κ.λπ.
• Η κανονική κατανομή αποτελεί σύμφωνα με το θεώρημα κεντρικού ορίου (το άθροισμα ενός ικανοποιητικά μεγάλου αριθμού ανεξάρτητων και ισόνομων τυχαίων μεταβλητών προσεγγίζεται από την κανονική κατανομή) τη βάση της στατιστικής συμπερασματολογίας ή επαγωγικής στατιστικής.
• Τυχαία σφάλματα που εμφανίζονται σε διάφορες μετρήσεις έχουν κανονική κατανομή. Γι' αυτό το λόγο η Κανονική κατανομή αναφέρεται πολλές φορές και ως κατανομή σφαλμάτων.

Συνάρτηση κατανομής για διάφορες παραμέτρους
Συμβολισμός	${\mathcal {N}}(\mu ,\sigma ^{2})$
Παράμετροι	$\mu \in \mathbb {R}$ = Μέσος $\sigma ^{2}>0$ = Διακύμανση
Στήριγμα	$x\in \mathbb {R}$
Συνάρτηση Πυκνότητας Πιθανότητας	${\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$
Μέσος	$\mu$
Διάμεσος	$\mu$
Διακύμανση	$\sigma ^{2}$
Ασυμμετρία	$0$
Κύρτωση	$0$
Εντροπία	${\displaystyle {\frac {1}{2}}\log(2\pi \sigma ^{2})+{\frac {1}{2}}}$
Ροπογεννήτρια	$\exp(\mu t+\sigma ^{2}t^{2}/2)$
Χαρακτηριστική	$\exp(i\mu t-\sigma ^{2}t^{2}/2)$
Πληροφορία Fisher	${\mathcal {I}}(\mu ,\sigma )={\begin{pmatrix}1/\sigma ^{2}&0\\0&2/\sigma ^{2}\end{pmatrix}}$ ${\mathcal {I}}(\mu ,\sigma ^{2})={\begin{pmatrix}1/\sigma ^{2}&0\\0&1/(2\sigma ^{4})\end{pmatrix}}$

Η γραφική παράσταση της σχετιζόμενης συνάρτησης πυκνότητας πιθανότητας έχει σχήμα «καμπάνας», και είναι γνωστή ως γκαουσιανή συνάρτηση ή κωδωνοειδής καμπύλη:

$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$.

Ορισμός

Μια πραγματική τυχαία μεταβλητή $X$ ακολουθεί την κανονική κατανομή με μέση τιμή $\mu$ και διακύμανση $\sigma ^{2}$, συμβολίζεται με $X\ \sim \ {\mathcal {N}}(\mu ,\,\sigma ^{2})$ όταν η συνάρτηση πυκνότητας πιθανότητας της είναι

$f(x;\mu ,\sigma )={\tfrac {1}{\sqrt {2\pi \sigma ^{2}}}}\,e^{-(x-\mu )^{2}/2\sigma ^{2}}$,

όπου $e$ είναι η βάση του φυσικού λογάριθμου ($\approx 2,71828$), $\pi$ η γνωστή μαθηματική σταθερά ($\approx 3,14159$), $\mu$ ο μέσος όρος του πληθυσμού, $\sigma$ η τυπική απόκλιση του πληθυσμού και $x$ μια τιμή της συνεχούς τυχαίας μεταβλητής στο διάστημα $-\infty$ έως $+\infty$,

Για μια τυχαία μεταβλητή $Z\sim {\mathcal {N}}(0,\,1)$ η συνάρτηση πυκνότητας πιθανότητας συμβολίζεται με $\phi (z)$ και η συνάρτηση κατανομής με $\Phi (z)$.

Ιδιότητες

Γραμμικοί μετασχηματισμοί

Η οικογένεια των κανονικών κατανομών είναι κλειστή ως προς τους γραμμικούς μετασχηματισμούς. Δηλαδή, αν $X\sim {\mathcal {N}}(\mu ,\sigma ^{2})$ και $a,b\in \mathbb {R}$ με $a>0$, η τυχαία μεταβλητή $aX+b$ ακολουθεί επίσης την κανονική κατανομή με

$aX+b\ \sim \ {\mathcal {N}}(a\mu +b,\,a^{2}\sigma ^{2}).$

Απόδειξη  

Έστω $Y=aX+b$. Τότε η εκθετική γεννήτρια συνάρτηση δίνεται από τον τύπο

${\begin{aligned}\operatorname {E} [e^{tY}]&=\operatorname {E} [e^{t(aX+b)}]\\&=\operatorname {E} [e^{atX)}]\cdot e^{tb}\\&=e^{(ta)\cdot \mu +\sigma ^{2}\cdot (ta)^{2}/2}\cdot e^{tb}\\&=e^{t\cdot (a\cdot \mu +b)+(a\sigma )^{2}\cdot t^{2}/2}.\end{aligned}}$

Επομένως, η $Y$ έχει κατανομή ${\mathcal {N}}(a\mu +b,a^{2}\sigma ^{2})$.

Συγκεκριμένα για $Z\sim {\mathcal {N}}(0,\,1)$ προκύπτει $\sigma Z+\mu \ \sim \ {\mathcal {N}}(\mu ,\,\sigma ^{2})$ και αντιστρόφως ${\frac {X-\mu }{\sigma }}\sim {\mathcal {N}}(0,\,1).$

Για τη συνάρτηση κατανομής της $X$ ισχύει ${\textstyle F(x)=\Phi \left({\frac {x-\mu }{\sigma }}\right)}$ και για τη συνάρτηση πυκνότητας πιθανότητας $f(x)={\tfrac {1}{\sigma }}\,\phi {\big (}{\tfrac {x-\mu }{\sigma }}{\big )}$.

Απόδειξη  

Έχουμε ότι

$F(x)=\Pr(X\leq x)=\Pr(\sigma Z+\mu \leq x)=\Pr \left(Z\leq {\frac {x-\mu }{\sigma }}\right)=\Phi \left({\frac {x-\mu }{\sigma }}\right).$

Για την συνάρτηση πυκνότητας πιθανότητας έχουμε ότι

$f(x)=F'(x)={\frac {d}{dx}}\Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{\sigma }}\cdot \Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{\sigma }}\cdot \phi \left({\frac {x-\mu }{\sigma }}\right).$

Συμμετρία

Η συνάρτηση πυκνότητας πιθανότητας είναι συμμετρική ως προς τη μέση τιμή, δηλαδή $f(\mu -\delta )=f(\mu +\delta )$ για κάθε $\delta \geq 0$. Ως ειδική περίπτωση ισχύει ότι $\phi (-z)=\phi (z)$ και

$\Phi (-z)=P[Z\leq -z]=1-P[Z\geq -z]=1-P[Z\leq z]=1-\Phi (z)$

Απόδειξη  

Έχουμε ότι

$f(\mu -\delta )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(-\delta )^{2}/2\sigma ^{2}}={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(\delta )^{2}/2\sigma ^{2}}=f(\mu +\delta )$.

Διαστήματα εμπιστοσύνης

Σε μια δειγματοληψία από κανονική κατανομή το 68,3% των τιμών απέχει το πολύ κατά $\sigma$ από τη μέση τιμή, βρίσκεται δηλαδή στο διάστημα $[\mu -\sigma ,\mu +\sigma ]$. Το 95,5% των τιμών βρίσκεται στο $[\mu -2\sigma ,\mu +2\sigma ]$ και το 99,7% στο $[\mu -3\sigma ,\mu +3\sigma ]$.

Στη γενική περίπτωση ενός διαστήματος $[x_{1},x_{2}]$ ισχυεί

$P[x_{1}\leq X\leq x_{2}]=\Phi {\Big (}{\frac {x_{2}-\mu }{\sigma }}{\Big )}-\Phi {\Big (}{\frac {x_{1}-\mu }{\sigma }}{\Big )}.$

Αν το διαστημα είναι συμμετρικό ως προς τη μέση τιμή

$P[-x+\mu \leq X\leq x+\mu ]=\Phi {\Big (}{\frac {x}{\sigma }}{\Big )}-\Phi {\Big (}{\frac {-x}{\sigma }}{\Big )}=2\Phi {\Big (}{\frac {x}{\sigma }}{\Big )}-1.$

Τυποποιημένη κανονική κατανομή

Το σκούρο μπλε είναι λιγότερο από μία τυπική απόκλιση από το μέσο. Στην κανονική κατανομή, αυτό αφορά στο 68% των παρατηρήσεων, ενώ δύο τυπικές αποκλίσεις από τον μέσο (μπλε και σκούρο μπλε) αφορούν στο 95%, και τρεις τυπικές αποκλίσεις (ανοιχτό μπλε, μπλε και σκούρο μπλε) αφορούν το 99,7%.

Η κανονική κατανομή που έχει μέση τιμή $\mu =0$ και τυπική απόκλιση $\sigma =1$ (άρα και διακύμανση $\sigma ^{2}=1$), συμβολίζεται με ${\mathcal {N}}(0,1)$ και ονομάζεται τυποποιημένη κανονική κατανομή. Μια τυχαία μεταβλητή που ακολουθεί την τυποποιημένη κανονική κατανομή, έχει επικρατήσει να συμβολίζεται με $Z$ και η συνάρτηση πυκνότητάς της με $\phi$, όπου

$\phi (z)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {z^{2}}{2}}}$, για $-\infty <z<\infty$.

Η τυποποίηση των δεδομένων βασίζεται στην απόκλισή τους από το μέσο όρο σε όρους της σ, σύμφωνα με τον τύπο ${\textstyle Z={\frac {X-\mu }{\sigma }}}$. Με τον τύπο αυτό μπορούν να μετατραπούν τα δεδομένα μιας μεταβλητής που κατανέμεται κανονικά σε τυποποιημένη μορφή και να υπολογιστούν οι πιθανότητες χρησιμοποιώντας τους πίνακες της τυποποιημένης κανονικής κατανομής. Οι πίνακες της τυποποιημένης κανονικής κατανομής δίνουν τις αθροιστικές πιθανότητες της κατανομής της $Z$, δηλαδή τα εμβαδά της κατανομής από $-\infty$ έως και μία συγκεκριμένη τιμή της $Z$ (π.χ. $z$). Έτσι, οι πίνακες δίνουν τις πιθανότητες $\Pr(Z\leq z)$ για όλα τα $z$ από -3,99 έως +3,99 με βήμα 0,01.

Σχέσεις με άλλες κατανομές

• Έστω ανεξάρτητες τυχαίες μεταβλητές $Z_{1},Z_{2},\dots ,Z_{n}$ που ακολουθούν την κανονική κατανομή με μέση τιμή 0 και διακύμανση 1. Το άθροισμα των τετραγώνων τους ακολουθεί την κατανομή $\chi ^{2}$ με $n$ βαθμούς ελευθερίας, δηλαδή

$\sum _{i}Z_{i}^{2}\sim \chi _{n}^{2}$

• Έστω ανεξάρτητες τυχαίες μεταβλητές $X_{1},X_{2},\dots ,X_{n}$ που ακολουθούν την κανονική κατανομή με μέση τιμή μ και διακύμανση σ². Η κάτωθι τυχαία μεταβλητή ακολουθεί την κατανομή t-Student με n−1 βαθμούς ελευθερίας, δηλαδή

${\frac {{\overline {X}}-\mu }{S}}={\frac {{\tfrac {1}{n}}(X_{1}+\cdots +X_{n})-\mu }{\sqrt {{\tfrac {1}{n-1}}{\big [}(X_{1}-{\overline {X}})^{2}+\cdots +(X_{n}-{\overline {X}})^{2}{\big ]}}}}\ \sim \ t_{n-1}$

Προσέγγιση ασυνεχών κατανομών με την κανονική κατανομή

Η προσέγγιση ασυνεχών κατανομών με μεγάλη ακρίβεια απ' την κανονική κατανομή, παρά το γεγονός ότι σαν συνεχής κατανομή περιγράφει μόνο συνεχείς μεταβλητές, αποτελεί βασικό της πλεονέκτημα. Η προσέγγιση αυτή ισχύει για εκείνες τις περιπτώσεις που και οι ασυνεχείς κατανομές τείνουν να πάρουν το σχήμα της "κωδωνοειδούς" καμπύλης.

Διωνυμική κατανομή

Η διωνυμική κατανομή $X\sim {\mathcal {B}}(n,p)$ τείνει προς την κανονική κατανομή $Y\sim {\mathcal {N}}(\mu ,\sigma ^{2})$ με $\mu =np$ και $\sigma ={[np(1-p)]}^{\frac {1}{2}}$, όσο αυξάνει το μέγεθος του δείγματος $n$.

Η προσέγγιση χρησιμοποείται συνήθως όταν το μέγεθος του δείγματος είναι μεγαλύτερο από 20. Για μικρότερα δείγματα, η παράμετρος $p$ πρέπει να είναι κοντά στο $0.5$.

Κατανομή Poisson

Η κατανομή Πουασσόν $X\sim \mathrm {Pois} (\lambda )$ τείνει προς την κανονική $Y\sim {\mathcal {N}}(\mu ,\sigma )$ με $\mu =\lambda$ και $\sigma =\lambda ^{\frac {1}{2}}$, όσο αυξάνει η παράμετρος $\lambda$.

Εφαρμογές

Κατηγοριοποίηση εφαρμογών κανονικής κατανομής σε πρακτικά προβλήματα:

1. Φαινόμενα που ακολουθούν την κανονική κατανομή
2. Φαινόμενα που προσεγγίζονται από την κανονική κατανομή, όπως αυτά που η προσέγγισή τους δικαιολογείται από το κεντρικό οριακό θεώρημα
3. Φαινόμενα των οποίων κατανομές που μοντελοποιούνται ως κανονική

Φαινόμενα που ακολουθούν την κανονική κατανομή

Η βασική ενεργειακή κατάσταση ενός κβαντικού αρμονικού ταλαντωτή παρουσιάζει κανονική κατανομή.

Ορισμένα μεγέθη στην φυσική κατανέμονται κανονικά, όπως έδειξε πρώτος ο Τζέιμς Κλερκ Μάξγουελ. Παραδείγματα τέτοιων μεγεθών είναι:

• Ταχύτητες μορίων σε ιδανικά αέρια.
• Η συνάρτηση πυκνότητας πιθανότητας της βασικής ενεργειακής κατάστασης ενός κβαντικού αρμονικού ταλαντωτή.
• Η θέση ενός σωματιδίου το οποίο διαχέεται.

Φαινόμενα που προσεγγίζονται από την κανονική κατανομή

Προσεγγιστικές κανονικές κατανομές παρατηρούνται σε διάφορες καταστάσεις, όπως εξηγείται από το κεντρικό οριακό θεώρημα. Δηλαδή, όταν το άθροισμα ενός ικανοποιητικά μεγάλου αριθμού ανεξάρτητων και ισόνομων τυχαίων μεταβλητών προκαλεί ένα φαινόμενο, αυτό προσεγγίζεται από την κανονική κατανομή.

• Σε αριθμητικά προβλήματα, όπου το κεντρικό οριακό θεώρημα περιλαμβάνει μία προσέγγιση διακριτού σε συνεχές, όπως:
  • η διωνυμική κατανομή, που σχετίζεται με δυικές μεταβλητές
  • η Κατανομή Πουασσόν, που σχετίζεται με σπάνια γεγονότα;
• Το θερμικό φως ακολουθεί την κατανομή Μπόους–Αϊνστάιν για πολύ μικρά χρονικά διαστήματα, και κανονική κατανομή σε μεγαλύτερα χρονικά διαστήματα εξαιτίας του κεντρικού οριακού θεωρήματος.

Φαινόμενα των οποίων κατανομές που μοντελοποιούνται ως κανονική

• Στη βιολογία, ο λογάριθμος διαφόρων μεταβλητών τείνει να ακολουθεί την κανονική κατανομή, δηλαδή, τείνουν να ακολουθούν μία λογαριθμική κανονική κατανομή, με παραδείγματα όπως:
  • Μέτρα μεγέθους ζωντανού ιστού (μήκος, ύψος, επιφάνεια δέρματος, βάρος).
  • Το μήκος αδρανών προσαρτημάτων (μαλλιά, νύχια, δόντια) βιολογικών δειγμάτων, στην κατεύθυνση της μεγέθυνσης.
  • Ορισμένα φυσιολογικά μεγέθη, όπως η πίεση του αίματος των ενηλίκων.
• Στα οικονομικά, και συγκεκριμένα το μοντέλο Black–Scholes, αλλαγές στο λογάριθμο των συναλλαγματικών ισοτιμιών, των δεικτών τιμών, και των χρηματιστηριακών δεικτών υποτίθενται ως κανονικές. Ορισμένοι μαθηματικοί αντιτίθενται σε αυτή την περίπτωση χρήσης της κανονικής κατανομής.
• Τα υπολογιστικά λάθη σε φυσικά πειράματα μοντελοποιούνται συχνά μέσω της κανονικής κατανομής.
• Σε τυποποιημένα τεστ, τα αποτελέσματα αναλύονται βάσει της κανονικής κατανομής.
• Στην υδρολογία η κατανομή της μακροχρόνιας βροχόπτωσης (π.χ. μηνιαία ή ετήσια σύνολα, αποτελούμενα από το άθροισμα 30 και 360 ημερησίων τιμών αντίστοιχα) θεωρείται συχνά ότι ακολουθεί πρακτικά την κανονική κατανομή σύμφωνα με το κεντρικό οριακό θεώρημα.

Ονομασία

Από την εμφάνισή της, η κανονική κατανομή έχει ονομαστεί με διαφορετικούς τρόπους: ο νόμος του σφάλματος, δεύτερος νόμος του Λαπλάς, νόμος του Γκάους, κ.λπ. Από το τέλος του 18ου αιώνα ορισμένοι συγγραφείς είχαν αρχίσει να χρησιμοποιούν την ονομασία κανονική κατανομή, όπου η λέξη «κανονική» χρησιμοποιείτο ως επίθετο — ο όρος προερχόταν απ' το γεγονός ότι η κατανομή αυτή θεωρείτο ως τυπική, συνήθης, κανονική. Ο Πιρς (ένας από τους συγγραφείς αυτούς) κάποτε όρισε τον όρο "κανονική" ως: «...το "κανονική" δεν είναι ο μέσος όρος (ή κάποιο άλλο είδος μέσου) αυτού που συμβαίνει πραγματικά, αλλά αυτού που θα συνέβαινε, μακροπρόθεσμα, υπό ορισμένες συνθήκες». Στην αρχή του 20ου αιώνα ο Καρλ Πίρσον έκανε δημοφιλή τον όρο κανονική σαν προσδιορισμό για την κατανομή αυτή.

« Πολλά χρόνια πριν, ονόμασα την καμπύλη Gauss-Laplace ως κανονική κατανομή, το οποίο όνομα, παρόλο που αποφεύγει ένα διεθνές ερώτημα προτεραιότητας, έχει το μειονέκτημα να οδηγεί τους ανθρώπους στην άποψη ότι οι υπόλοιπες κατανομές συχνότητας είναι με τον έναν τρόπο ή τον άλλο "αντικανονικές". — Πίρσον, 1920 »

Επιπλέον, ο Πίρσον ήταν αυτός που πρώτος έγραψε την κατανομή σε όρους τυπικής απόκλισης $\sigma$ όπως στη σύγχρονη σημειογραφία. Σύντομα μετά από αυτό, το έτος 1915, ο Ρόναλντ Φίσερ προσέθεσε την παράμετρο της τοποθεσίας στην εξίσωση για την κανονική κατανομή, εκφράζοντάς την με τον τρόπο που γράφεται ακόμα και σήμερα:

$df={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-m)^{2}}{2\sigma ^{2}}}}dx$.

Ο όρος "τυποποιημένη κανονική" ο οποίος υποδηλώνει την κανονική κατανομή με μέσο μηδέν και μοναδιαία διακύμανση ήρθε σε γενική χρήση στη δεκαετία του '50, εμφανιζόμενος στα δημοφιλή εγχειρίδια του P. G. Hoel και A. M. Mood.

Η ονομασία «κατανομή του Γκάους» προήλθε από τον Καρλ Φρίντριχ Γκάους, ο οποίος εισήγαγε την κατανομή το 1809 ως έναν τρόπο εκλογίκευσης της μεθόδου ελαχίστων τετραγώνων. Η σχετική δουλειά του Λαπλάς, οδήγησε την κανονική κατανομή στο να ονομάζεται μερικές φορές Λαπλασιανή, ειδικά σε χώρες με επίσημη γλώσσα τα γαλλικά. Μεταξύ των αγγλόφωνων λαών, τόσο η χρήση του όρου «κανονική κατανομή» όσο και του όρου «κατανομή Γκάους» είναι συνήθης, με κάθε μία να προτιμάται από διαφορετική κοινότητα.

Βιβλιογραφία

• Spiegel, M.· Stephens, L. (2000). Θεωρία και Προβλήματα Στατιστικής (3η έκδοση). Αθήνα: Τζιόλα. ISBN 960805012X. 
• Παπαδόπουλος, Γεώργιος. «Βασικές συνεχείς κατανομές και το Κεντρικό Οριακό Θεώρημα» (PDF). Γεωπονικό Πανεπιστήμιο Αθηνών. Ανακτήθηκε στις 10 Φεβρουαρίου 2024. 
• Δαμιανός, Χ.· Παπαδάτος, Ν.· Χαραλαμπίδης Χ. Α. (2003). Εισαγωγή στις Πιθανότητες και τη Στατιστική, Διδακτικές Σημειώσεις. Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών. ISBN 9789602663080.