Θεώρημα Γκάους-Μάρκοφ

Στη στατιστική και στην οικονομετρία, το θεώρημα Γκάους-Μάρκοφ αναφέρεται στην αποτελεσματικότητα του εκτιμητή ελαχίστων τετραγώνων του γραμμικού μοντέλου παλινδρόμησης. Η ονομασία του θεωρήματος οφείλεται στους μαθηματικούς Καρλ Φρίντριχ Γκάους και Αντρέι Μάρκοφ. Το θεώρημα διατυπώνει το εξής: Δεδομένων συγκεκριμένων υποθέσεων, ο εκτιμητής ελαχίστων τετραγώνων είναι αμερόληπτος και ο πιο αποτελεσματικός γραμμικός εκτιμητής των συντελεστών του μοντέλου γραμμικής παλινδρόμησης.

Παρουσίαση

Έστω το μοντέλο γραμμικής παλινδρόμησης σε μορφή πινάκων,

$Y=X\beta +\epsilon$ όπου:

• $\beta =(\beta _{i})_{k\times 1}$το διάνυσμα με τις πληθυσμιακές παραμέτρους που εκτιμώνται
• $X=(X_{ij})_{n\times k}$ένας στοχαστικός πίνακας με τις παρατηρήσεις των ανεξάρτητων μεταβλητών
• $Y=(Y_{i})_{n\times 1}$το διάνυσμα με τις παρατηρήσεις της εξαρτημένης μεταβλητής
• $\epsilon =(\epsilon _{i})_{n\times 1}$το διάνυσμα με τα μη παρατηρήσιμα σφάλματα

Αν ισχύουν και οι παρακάτω υποθέσεις:

• $E(\epsilon _{i}|X)=0,\forall i$ (αυστηρή εξωγένεια)
• $Var(\epsilon _{i}|X)=\sigma ^{2},\forall i$(Δεσμευμένη ομοσκεδαστικότητα)
• $Cov(\epsilon _{i},\epsilon _{j}|X)=0,i\neq j$(Ασυσχέτιστα σφάλματα)
• Ο πίνακας $X$είναι πλήρους βαθμού.

Τότε ο εκτιμητής ${\hat {\beta }}=(X'X)^{-1}X'Y$είναι ο πιο αποτελεσματικός γραμμικός αμερόληπτος εκτιμητής του $\beta$. Δηλαδή θα ισχύει ότι $E({\hat {\beta }})=\beta$και θα έχει την μικρότερη διακύμανση στην κλάση των γραμμικών εκτιμητών. Στη βιβλιογραφία λέγεται και BLU (Best Linear Unbiased).

Απόδειξη

Καταρχάς, ο εκτιμητής είναι γραμμικός ως προς το $Y$ καθώς αν $A=(X'X)^{-1}X'$ τότε ${\hat {\beta }}=AY$ και από τις υποθέσεις της ομοσκεδαστικότητας και των ασυσχέτιστων σφαλμάτων προκύπτει $Var(Y|X)=\sigma ^{2}I_{k}$, όπου $I_{k}$ο ταυτοτικός πίνακας πλευράς $k$.

Επομένως η διακύμανση του εκτιμητή είναι $Var({\hat {\beta }}|X)=\sigma ^{2}(X'X)^{-1}$.

Από την υπόθεση της αυστηρής εξωγένειας θα ισχύει ότι $E(Y|X)=X\beta$ οπότε $E({\hat {\beta }}|X)=\beta$ και από το θεώρημα της διπλής μέσης τιμής προκύπτει ότι $E({\hat {\beta }})=\beta$ το οποίο σημαίνει ότι είναι και αμερόληπτος. Συνεπώς αρκεί να δειχθεί ότι έχει τη μικρότερη διακύμανση μεταξύ των γραμμικών εκτιμητών.

Έστω ο γραμμικός αμερόληπτος εκτιμητής $b=CY$ και $D=C-A\iff C=D+A$

Αντικαθιστώντας το $C$ και επιβάλλοντας τη συνθήκη $E(b|X)=\beta$ πρέπει να ισχύει ότι $DX=0$ προκειμένου να είναι αμερόληπτος ο $b$

Η διακύμανση του $b$θα δίνεται ως $Var(b|X)=\sigma ^{2}CC'=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'=Var({\hat {\beta }}|X)+\sigma ^{2}DD'$ή ισοδύναμα

$Var(b|X)-Var({\hat {\beta }}|X)=\sigma ^{2}DD'$

Ισχύει ότι $\sigma ^{2}>0$και για οποιοδήποτε $c\in \mathbb {R} ^{1\times k}$μη μηδενικού μέτρου θα ισχύει ότι $cDD'c'=GG'=\sum _{i=1}^{n}g_{i}^{2}\geq 0$ όπου $G=cD=(g_{i})_{1\times n}$.

Δηλαδή ο πίνακας $\sigma ^{2}DD'$είναι θετικά ημιορισμένος και το θεώρημα έχει αποδειχθεί καθώς κάθε στοιχείο του πίνακα $Var(b|X)$ είναι μεγαλύτερο ή ίσο απ΄το αντίστοιχο στοιχείο του πίνακα $Var({\hat {\beta }}|X)$

Σχόλια

Εάν προστεθεί και η υπόθεση της κανονικότητας $\epsilon |X\sim N(0,\sigma ^{2}I_{n})$η αποτελεσματικότητα του εκτιμητή επεκτείνεται και για την ακρίβεια γίνεται ο καλύτερος αμερόληπτος εκτιμητής του $\beta$ καθώς αποδεικνύεται ότι η διακύμανση του σε αυτήν την περίπτωση είναι ίση με αυτήν που θεσπίζεται από το κάτω φράγμα Κραμέρ–Ράο.

Βιβλιογραφία

• Hayashi, Fumio (2000): Econometrics, Princeton University Press
• Greene, William H. (2002): Econometric Analysis, Prentice Hall, 5th Edition