Παλινδρόμηση (στατιστική)

Η παλινδρόμηση είναι μια ευρέως χρησιμοποιούμενη στατιστική τεχνική μοντελοποίησης για την έρευνα της συσχέτισης μεταξύ μίας εξαρτώμενης μεταβλητής και μιας ή περισσότερων ανεξάρτητων μεταβλητών . Χρησιμοποιείται με σκοπό την εκχώρηση δεδομένων σε μία πραγματική μεταβλητή πρόβλεψης, όπως ισχύει και στην περίπτωση της κατηγοριοποίησης όταν είναι διακριτή, αλλιώς καλείται παλινδρόμηση αν η μεταβλητή είναι συνεχής.Η παλινδρόμηση προϋποθέτει ότι τα σχετικά δεδομένα ταιριάζουν με μερικά γνωστά είδη συνάρτησης και μετά καθορίζει την καλύτερη συνάρτηση αυτού του είδους που μοντελοποιεί τα δεδομένα που έχουν δοθεί. Αποτέλεσμα της παλινδρόμησης όταν χρησιμοποιείται ως τεχνική εξόρυξης δεδομένων, αποτελεί ένα μοντέλο που χρησιμοποιείται αργότερα για να προβλέψει τις τιμές της κατηγορίας για τα νέα δεδομένα. Τέτοια παραδείγματα εφαρμογής της παλινδρόμησης αποτελεί η πρόβλεψη της ζήτησης για ένα νέο προϊόν ή υπηρεσία συναρτήσει των δαπανών διαφήμισης ή ο υπολογισμός της ταχύτητας του ανέμου σε σχέση με την θερμοκρασία, την υγρασία και την ατμοσφαιρική πίεση του περιβάλλοντος.

Ιστορία

Η στατιστική εμφανίστηκε, με την μορφή που την γνωρίζουμε σήμερα, τον 17ο αιώνα. Κατά την εξέλιξή της ανά τους αιώνες προέκυψαν διάφορες χρήσεις της λέξης "στατιστικής". Πολλοί ταυτίζουν τον όρο στατιστική με την καταγραφή δεδομένων διοίκησης που καταλήγουν σε μη αμφισβητήσιμους αριθμούς για την καλύτερη δυνατή εξαγωγή αποτελεσμάτων. Για άλλους είναι ένας κλάδος που διδάσκεται στο πανεπιστήμιο και χρησιμοποιείται σε άλλους επιστημονικούς κλάδους, όπως την ιατρική, την βιολογία, την οικονομία κ.ο.κ. Αυτό που αποτέλεσε κομβικό σημείο στην εξέλιξη της Στατιστικής, είναι η εισαγωγή, η εφαρμογή και η αξιοποίηση των εννοιών της μέσης τιμής, της διακύμανσης, της παλινδρόμησης και της συσχέτισης. Ο Galton παρατηρεί ότι: «είναι δύσκολο να καταλάβει κανείς γιατί οι στατιστικοί απέκτησαν τη συνήθεια να περιορίζουν τις έρευνές τους στις μέσες τιμές και δεν ικανοποιούνται περισσότερο από μια ευρύτερη προοπτική. Φαίνεται να αγνοούν τα θέλγητρα της ποικιλίας». δεν εμπιστευόταν τις μέσες τιμές και στα πλαίσια των ευγονικών του ενασχολήσεων ενδιαφερόταν για τις διαφορές μεταξύ των όντων, άρα και τις αποκλίσεις από τη μέση τιμή. Σε αντιδιαστολή με το νόμο της κανονικής κατανομής χρησιμοποιεί αυτό που ονομάζει «νόμο των παρεκκλίσεων από τη μέση τιμή». Οι εργασίες του Galton καταλήγουν σε μια ανακάλυψη που καταστρέφει το σχήμα του Quetelet: μια κανονική κατανομή αντί να είναι ένδειξη ομοιογένειας, μπορεί να προκύπτει ως συνιστώσα πολλών διαφορετικών κατανομών που αντιστοιχούν σε επιμέρους πληθυσμούς με μέσες τιμές πολύ διαφορετικές μεταξύ τους. Έτσι, η μέση τιμή μιας κανονικής κατανομής γίνεται ένα κινούμενο κέντρο βάρους που εξαρτάται από τη σύνθεση των εσωτερικών δυνάμεων των κοινωνιών. Η διαπίστωση αυτή οδηγεί τον Galton στην ανακάλυψη της παλινδρόμησης.

Μοντέλα Παλινδρόμησης

Όπως αναφέραμε και στην αρχή η Παλινδρόµηση (Regression) είναι µια στατιστική τεχνική µοντελοποίησης για την έρευνα της συσχέτισης µεταξύ µίας εξαρτώµενης µεταβλητής και µιας ή περισσότερων ανεξάρτητων μεταβλητών.Το Γενικευµένο Νευρωνικό ∆ίκτυο Παλινδρόµησης (Generalized Regression Neural Network -GRNN) µπορεί να εκτελέσει διεργασίες παλινδρόµησης για να κατασκευάσει ένα µοντέλο παλινδρόµησης. Τα µοντέλα παλινδρόµησης περιλαµβάνουν τις ακόλουθες µεταβλητές:

• Οι άγνωστες παράµετροι συσχέτισης που δηλώνονται ως $\beta$ (διάνυσµα).
• Οι ανεξάρτητες µεταβλητές $X$ (διάνυσµα).
• Η εξαρτώµενη µεταβλητή $Y$.

Ένα µοντέλο παλινδρόµησης συσχετίζει το Υ σε µία συνάρτηση παλιδρόμησης/regression των $X$ και $\beta$. $Y\simeq F(X,\beta )$. Ο συνήθης φορµαλισµός είναι $E(Y|X)=f(X,\beta )$.

Η Ανάλυση Παλινδρόµησης μας βοηθά να κατανοήσουμε την μεταβολή της εξαρτώµενης µεταβλητής Υ όταν µεταβάλλεται µία από τις ανεξάρτητες µεταβλητές Χ, ενώ οι άλλες ανεξάρτητες µεταβλητές κρατιούνται σταθερές. Συνήθως, επιδιώκεται να εξακριβωθεί η αιτιώδης επίδραση µιας µεταβλητής επάνω σε άλλη. Για παράδειγμα, η επίδραση της αύξησης τιµών προϊόντων µε την προσφορά/ζήτηση. Η επίδραση της παροχής χρημάτων στο ρυθμό πληθωρισμού. Για τέτοια ζητήματα, συγκεντρώνονται τα δεδομένα που αφορούν τις µεταβλητές ενδιαφέροντος και υιοθετείται η παλινδρόµηση για να υπολογίσει την ποσοτική επίδραση των µεταβλητών επάνω στη µεταβλητή που επηρεάζουν. Αξιολογείται επίσης η "στατιστική σημασία" των κατ' εκτίμηση συσχετίσεων, δηλαδή ο βαθµός εµπιστοσύνης (confidence) ότι η αληθινή συσχέτιση είναι κοντά στην κατ' εκτίμηση. Η ανάλυση παλινδρόµησης για πρόβλεψη και πρόγνωση έχει ουσιαστική επικάλυψη µε τον τοµέα της µηχανικής µάθησης .

Γραμμική παλινδρόμηση

Η παλινδρόμηση είναι μια τεχνική που χρησιμοποιείται για τη μοντελοποίηση και την ανάλυση αριθμητικών δεδομένων, μιας εξαρτημένης μεταβλητής και κάποιων ανεξάρτητων μεταβλητών. Το μοντέλο είναι μια συνάρτηση συσχέτισης της εξαρτημένης μεταβλητής από τις ανεξάρτητες. Η μοντελοποίηση μπορεί να γίνει χωρίς να είναι γνωστή απο πριν η γνώση για τον τρόπο με τον οποίο συνδέεται η εξαρτημένη μεταβλητή από τις ανεξάρτητες και τότε ονομάζεται εμπειρική μοντελοποίηση.Στην γραμμική παλινδρόμηση, η απαίτηση του μοντέλου που θα παραχθεί είναι: η εξαρτημένη μεταβλητή yi να είναι ένας γραμμικός συνδυασμός των ανεξαρτήτων μεταβλητών.

Γραμμική Παλινδρόμηση

Απλή Γραμμική παλινδρόμηση

Στην απλή γραμμική παλινδρόμηση υπάρχει η ανεξάρτητη μεταβλητή $x_{i}$, και δύο παράμετροι $\beta _{0},\beta _{1}$. Το μοντέλο έχει τη μορφή:

$y_{i}=\beta _{0}+\beta _{1}x_{i}+\epsilon _{i},\,$ με $i=1,m$ όπου $\epsilon _{i}$ είναι το σφάλμα της πρόβλεψης.

Παραδοχές για την εφαρμογή του απλού γραμμικού μοντέλου

Γραμμικότητα

Η κατανομή της $Y$ έχει, για τα διάφορα επίπεδα $x_{i},i=1,2,\ldots ,\nu$ της $X$, μέση τιμή $E\left({\frac {Y}{X}}=x\right)=\alpha +\beta x$ ή $E\left({\frac {Y}{X}}\right)=\alpha +\beta X$ όπου, $\alpha$ και $\beta$ παράμετροι που εκτιμώνται από το δείγμα $(x_{i},y_{i})i=1,2,\ldots ,\nu$. Άρα, υποθέτουμε ότι οι μέσες τιμές της $Y$, για τα διάφορα επίπεδα της Χ, είναι γραμμικές συναρτήσεις της Χ (ότι βρίσκονται δηλαδή σε ευθεία γραμμή). Σημειώνουμε ότι στο μοντέλο $Y=\alpha +\beta X+\epsilon$, τυχαίες μεταβλητές είναι μόνο οι $Y$ και $\epsilon$ .

Ομοσκεδαστικότητα-Σταθερότητα Διασποράς

Οι κατανομές της $Y$ έχουν ίδια διασπορά για όλα τα επίπεδα της $X$, δηλαδή, $\operatorname {Var} \left({\frac {Y}{X}}=x_{i}\right)=\sigma ^{2}$. .

Ανεξαρτησία

Οι τιμές της Υ που αντιστοιχούν στα διάφορα επίπεδα της Χ είναι ανεξάρτητες μεταξύ τους. Εξαρτημένα Υ εμφανίζονται συνήθως όταν παίρνουμε παρατηρήσεις από την ίδια πειραματική μονάδα σε διαφορετικές χρονικές στιγμές (π.χ. μετράμε την πίεση ή το βάρος του ιδίου ατόμου ανά εβδομάδα). Επίσης, σε περιπτώσεις όπου χρησιμοποιούνται μηχανές (π.χ. όργανα μέτρησης, κ.τλ) που αλλάζει η απόδοσή ανάλογα με τη χρήση αν ο χειριστής βελτιώνεται (ή χειροτερεύει) με την πάροδο του χρόνου. Είναι επομένως αναγκαίο, όταν έχουμε πειραματικά δεδομένα που παίρνονται με χρονική σειρά, να κάνουμε ένα διάγραμμα υπολοίπων ως προς το χρόνο έστω και αν ο χρόνος δεν χρησιμοποιείται ως μεταβλητή στο μοντέλο .

Κανονικότητα

Η κατανομή της $Y$ για όλα τα επίπεδα της $X$ είναι κανονική. Η κανονικότητα μπορεί να ελεγχθεί με διάφορους τρόπους όπως:

• Με ιστόγραμμα
• Με φυλλογράφημα (steam and leaf plot)
• Με θηκόγραμμα (box plot)
• Με διάγραμμα πιθανοτήτων (normal probability plot)
• Με στατιστικούς ελέγχους καλής προσαρμογής (goodness–of-fit test) όπως KolmogorovSmirnov test ή $X^{2}$ test.

Όταν διαπιστώνεται παραβίαση της κανονικότητας μπορούμε, σε πολλές περιπτώσεις, να αντιμετωπίσουμε το πρόβλημα με κατάλληλους μετασχηματισμούς στις μεταβλητές.

Λογιστική Παλινδρόµηση

Το λογιστικό μοντέλο είναι ένα μη γραμμικό μοντέλο, τα σφάλματα, του οποίου δεν υπακούν στην κανονική κατανομή και η μεταβλητή απόκρισης είναι διακριτή.

Η λογιστική παλινδρόμηση χρησιμοποιείται όταν επιθυμούμε να προβλέψουμε την απουσία ή την παρουσία ενός χαρακτηριστικού, ή ενός συμβάντος. Είναι μια γενίκευση της απλής γραμμικής παλινδρόμησης για την

Λογιστική Παλινδρόµηση

περίπτωση όπου η εξαρτημένη μεταβλητή (Υ) είναι δίτιμη ( δηλαδή παίρνει την τιμή 0 όταν απουσιάζει το χαρακτηριστικό ή την τιμή 1 όταν υπάρχει το χαρακτηριστικό). Ένα παράδειγμα της εφαρμογής της είναι η εξέταση της εμφάνισης στεφανιαίας νόσου σε ένα νοσοκομείο σε ένα δείγμα ανδρών σε σχέση με την ηλικία, εάν καπνίζουν, τη συστολική και διαστολική πίεση του αίματος, τα επίπεδα της χοληστερόλης και το βάρος τους. Σε αυτή την περίπτωση, κωδικοποίησαν με 0 τα άτομα που δεν έχουν πάθει έμφραγμα τα τελευταία 10 χρόνια και με 1 τα άτομα που έχουν υποστεί έμφραγμα.

Το γραμμικό μοντέλο είναι αδύνατο να χρησιμοποιηθεί όταν η μεταβλητή Υ είναι δυαδική και έχουμε τα εξής τρία προβλήματα:

1. Τα σφάλματα δεν είναι κανονικά.
2. Τα σφάλματα έχουν άνισες διασπορές
3. Περιορισμός στη συνάρτηση απόκρισης

Παρόλο που στα δύο πρώτα προβλήματα είναι δυνατό να τα παραλείψουμε και να χρησιμοποιήσουμε την γραμμική παλινδρόµηση, εφαρμόζοντας κάποιες άλλες τεχνικές, το τρίτο πρόβλημα μας το απαγορεύει ρητά, γιατί δεν μπορεί να αντιμετωπιστεί με διαφορετικό τρόπο.

Απλό Λογιστικό Μοντέλο

Το μοντέλο που χρησιμοποιούμε όταν η Yi είναι δίτιμη είναι το λογιστικό, το οποίο ορίζεται ως εξής: $Y_{i}=E(Y_{i})+\epsilon _{i}$ όπου $Y_{i}$: ανεξάρτητη τ.μ. Bernoulli και

$E(Y_{i})=\pi (x)$ όπου $\pi (x)={\frac {e^{(\beta _{0}+\beta _{1}x)}}{e^{(\beta _{0}+\beta _{1}x)}+1}}={\frac {1}{e^{-(\beta _{0}+\beta _{1}x)}+1}}$

Δείτε επίσης

• Xiangliang Zhang. «Linear Regression» (PDF). King Abdullah University of Science and Technology. Αρχειοθετήθηκε από το πρωτότυπο (PDF) στις 10 Νοεμβρίου 2014. Ανακτήθηκε στις 30 Απριλίου 2013.  (pdf)