Μπεϋζιανά δίκτυα

Η θεωρία των πιθανοτήτων είναι η καλύτερη θεωρία για να ελεγχθεί και να εκφραστεί η αβεβαιότητα ενός γεγονότος, καθώς παρέχει τη μεθοδολογία για να εκτιμηθεί ορθά η πιθανότητα για διάφορους τύπους σύνθετων δεδομένων. Τα Bayesian δίκτυα είναι ένα πολύ σημαντικό εργαλείο για την κατανόηση της εξάρτησης μεταξύ των γεγονότων και της εκχώρησης πιθανοτήτων σε αυτά, διασφαλίζοντας έτσι πόσο πιθανή ή ποια είναι η αλλαγή της εμφάνισης ενός συμβάντος δεδομένου του άλλου.  Είναι πολύ σημαντικό να υπάρχουν διαθέσιμα ποιοτικά δεδομένα, καθώς σε όποιο κλάδο εφαρμοστούν οι κανόνες και η θεωρία πιθανοτήτων και της στατιστικής, η σημαντικότητα και η αξιοπιστία των αποτελεσμάτων εξαρτάται και από τα δεδομένα με τα οποία εκτιμώνται οι πιθανότητες. Καθώς διανύουμε  τον 21^ο αιώνα και ο όγκος των πληροφοριών που λαμβάνουμε καθημερινά αυξάνεται εκθετικά, τα μαθηματικά μοντέλα είναι απαραίτητα για την εξήγηση αλλά και την κατανόηση διάφορων καταστάσεων, όπως για παράδειγμα τα βιολογικά φαινόμενα. Τα Bayesian δίκτυα λοιπόν, είναι ικανά να ενσωματώνουν την προηγούμενη γνώση στη διαδικασία μάθησης ενός μοντέλου.

Thomas Bayes | 1701 – 7 April 1761 [1]

Ιστορία

Judea Pearl | September 4, 1936-present [2]

Τα Bayesian δίκτυα,  πήραν το όνομά τους από τον Βρετανό κληρικό και μαθηματικό Τόμας Μπέιζ, με το γνωστό ομώνυμο θεώρημα, στη θεωρία πιθανοτήτων και στη στατιστική. Ο Bayes έδειξε πρώτος τον τρόπο που χρησιμοποιούνται τα νέα στοιχεία για την ανανέωση των εκάστοτε πεποιθήσεων. Στη συνέχεια, ανέπτυξαν την ιδέα του και άλλοι μαθηματικοί όπως ο Πιερ-Σιμόν ντε Λαπλάς και ο Χάρολντ Τζέφρις , ο οποίος ανέφερε χαρακτηριστικά ότι «το θεώρημα του Μπέιζ είναι στη θεωρία των πιθανοτήτων, ό,τι είναι αντίστοιχα το Πυθαγόρειο Θεώρημα στη Γεωμετρία». Τα Bayesian δίκτυα δημιουργήθηκαν από τον Judea Pearl (1985), ένα από τα μεγαλύτερα ονόματα στην ιστορία της Τεχνητής Νοημοσύνης (Artificial Intelligence). Ο Judea Pearl κατάφερε να κάνει τη σύνδεση  της AI με τη λογική και την πιθανότητα. Tα Bayesian δίκτυα είναι εναλλακτικά γνωστά και ως δίκτυα πεποίθησης (belief networks) καθώς και ως πιθανοτικά μοντέλα κατευθυνόμενων ακυκλικών γράφων (ΚΑΓ) (Directed Acyclic Graphs (DAGs)).

Βασικές Μαθηματικές Αρχές

Η υπό συνθήκη πιθανότητα P(A|B)

Αν Α και Β είναι δύο γεγονότα στο ίδιο πείραμα τύχης, ορίζεται ως υπό συνθήκη πιθανότητα $P(A|B)$, η πιθανότητα να συμβεί το $A$ δεδομένου ότι συνέβη το $B$ και ορίζεται από τον τύπο:

Διάγραμμα Venn: Τομή του γεγονότος $B$ με μια διαμέριση $A_{i}$ του δειγματικού χώρου $S$. Το γεγονός $B$ αποτελείται από την ένωση όλων των τομών του με τα γεγονότα της διαμέρισης. Όλα τα γεγονότα $A_{i}\cap B$ είναι μεταξύ τους αμοιβαία αποκλειόμενα.

$P(A|B)$ = $P(A\bigcap B) \over P(B)$ για $P(B)>0$

όπου σύμφωνα με το Πολλαπλασιαστικό Θεώρημα

$P(A\bigcap B)$ =$P(B)P(A|B)$

Θεώρημα Ολικής Πιθανότητας

Χρησιμοποιώντας την έννοια της υπό συνθήκης πιθανότητας, είναι δυνατό να προσδιοριστεί η πιθανότητα ενός σύνθετου γεγονότος Β, το οποίο είναι η ένωση των τομών του με άλλα γεγονότα.

Στην ορολογία συνόλων, γεγονός ή ενδεχόμενο είναι ένα υποσύνολο του δειγματοχώρου $S$.

Αν τα γεγονότα $A_{i}$,για $i=1,2,3,...,n$ αποτελούν μία διαμέριση του δειγματοχώρου $S$, δηλαδή είναι ξένα μεταξύ τους ανά δύο με $A_{i}A_{j}=\varnothing \forall i\neq j$, η πιθανότητα ενός γεγονότος $B$, οριζόμενο στον ίδιο δειγματικό χώρο, ορίζεται τη σχέση:

$P(B)$ = $P(B|A_{1})P(A_{1})+P(B|A_{2})P(A_{2})+...+P(B|A_{k})P(A_{k})$

Θεώρημα Bayes – Τύπος του Bayes

Πολλές φορές μετά την εκτέλεση ενός πειράματος, εξαιτίας της πληροφορίας που παίρνουμε από το γεγονός $A$, μπορεί να αναθεωρήσουμε την πιθανότητα $P(B)$ που έχουμε για ένα άλλο γεγονός $B$.

Αν:

•       $S=A_{1}\cup A_{2}\cup ...\cup A_{k}=\bigcup _{i=1}^{k}A_{i}$, δηλαδή τα γεγονότα $A_{1},A_{2},...,A_{k}$ αποτελούν διαμέριση του δειγματικού χώρου
•        ${\displaystyle B\subseteq S}$, δηλαδή το $B$ είναι ένα γεγονός που σχετίζεται με τον ίδιο χώρο $S$,
  Τότε η υπό συνθήκη πιθανότητα ${\displaystyle {\displaystyle P(A_{i}|B)}}$ ικανοποιεί τη σχέση:

${\displaystyle P(A_{i}|B)}={\frac {\ P(A_{i})P(B|A_{i})}{\ P(B)}}$, όπου $i=1,2,3,...k$

Δεδομένου ότι έχει πραγματοποιηθεί το γεγονός $B$, η σχέση αυτή προσδιορίζει την πιθανότητα πραγματοποίησης ενός γεγονότος της διαμέρισης $A_{i}$ και είναι γνωστή και ως εκ των υστέρων (posterior) πιθανότητα του $A_{k}$.

Πριν την εκτέλεση του πειράματος γνωρίζουμε την εκ των προτέρων (prior) πιθανότητα του $A_{k}$.

Παράδειγμα

Έστω ότι υπάρχουν τρεις βιομηχανίες αυτοκινήτων οι οποίες προμηθεύουν μία βιομηχανία. Η βιομηχανία αυτή αγοράζει από τις εταιρείες με την εξής αναλογία: Το 50% των κινητήρων προέρχονται από την πρώτη εταιρεία Α1, ενώ η δεύτερη Α2 και η τρίτη Α3 προμηθεύουν με 25% έκαστη. Αν γνωρίζουμε ότι:

• Όλοι οι κινητήρες από την πρώτη εταιρεία Α1 είναι φερέγγυοι,
• το 2% των κινητήρων από τη δεύτερη Α2 είναι ελαττωματικοί και
• το 6% των κινητήρων από την τρίτη Α3 είναι ελαττωματικοί

ποια είναι η πιθανότητα αν ελέγξουμε έναν κινητήρα αυτοκινήτου και είναι ελαττωματικός, να προέρχεται από την εταιρεία Α1;

Συνεπώς πρέπει να υπολογιστεί η υπό συνθήκη πιθανότητα $P(A_{1}|B)$. Με βάση τη λογική, σκεφτόμαστε ότι ο κινητήρας προέρχεται από τρίτη Α3 εταιρεία, καθώς έχει τριπλάσιο ποσοστό ελαττωματικών κινητήρων από τη δεύτερη Α2, ενώ αποκλείουμε να προέρχεται από την πρώτη Α1. Με βάση τα παραπάνω δεδομένα και εφαρμόζοντας τον κανόνα της υπό συνθήκης πιθανότητας  έχουμε:

$P(A_{1}|B)={\frac {\ P(A_{1}\cap B)}{\ P(B)}}$$={\frac {\ P(A_{1})P(B|A_{1})}{\ P(B)}}$$={\frac {\ 0.5*0.00}{\ 0.02}}=0.00$

${\displaystyle P(A_{3}|B)={\frac {\ P(A_{3}\cap B)}{\ P(B)}}}$$={\frac {\ P(A_{3})P(B|A_{3})}{\ P(B)}}$$={\frac {\ 0.25*0.06}{\ 0.02}}=0.75$

Επομένως, γνωρίζοντας ότι σε έναν έλεγχο ο κινητήρας θα είναι ελαττωματικός μπορούμε να υπολογίσουμε τις νέες πιθανότητες.

Απεικόνιση Bayesian δικτύων

Σχηματική αναπαράσταση ενός απλού Bayesian δικτύου: Απεικονίζεται μια μεταβλητή C, η οποία επηρεάζεται από τις μεταβλητές A και B. Οι κατευθυνόμενες ακμές σημαίνουν ότι υπάρχει μια κατευθυνόμενη εξάρτηση από το μέρος της μεταβλητής C, από τις μεταβλητές A και B. Η απουσία της ακμής μεταξύ Α και Β υποδηλώνει την υπό συνθήκη ανεξαρτησία μεταξύ αυτών των μεταβλητών. Δηλαδή αν γνωρίζουμε τη C, τότε μπορούμε να συμπεράνουμε τις Α και Β. Όμως δεν χρειαζόμαστε πραγματικά το Β εάν θέλουμε να βγάλουμε συμπεράσματα σχετικά με την κατάσταση της Α και αντίστροφα.

Ένα Bayesian δίκτυο αποτελείται από ένα κατευθυνόμενο ακυκλικό γράφημα (μη-κυκλικός γράφος) με κόμβους και ακμές.

Ακυκλικό σημαίνει ότι μία μεταβλητή μπορεί να δείχνει σε μια άλλη μεταβλητή, αλλά η δεύτερη μεταβλητή δεν πρέπει να δείχνει πίσω την αρχική. Κάθε μεταβλητή αναπαριστάται με έναν κόμβο (node), καθένας από τους οποίους διαθέτει καταστάσεις, δηλαδή ένα σύνολο από πιθανές τιμές που αντιστοιχούν σε κάθε μεταβλητή. Οι κόμβοι συνδέονται μεταξύ τους με κατευθυνόμενα βέλη, τις ακμές (edges) που φανερώνουν την αλληλεξάρτηση των μεταβλητών υποδεικνύοντας και την κατεύθυνση της επιρροής. Για τη διπλανή εικόνα ισχύει ότι

$P(A,B,C)=P(C|A,B)P(A)P(B)$

Γενικευμένος Μαθηματικός Τύπος ενός Bayesian δικτύου

$P(X_{1},X_{2},...,X_{n})=\prod _{i=1}^{n}P(X_{i}|parents(X_{i}))$

Ο συμβολισμός $X_{i}$ χρησιμοποιείται για μια μεταβλητή καθώς και τον αντίστοιχο κόμβο της μεταβλητής αυτής στην τοπολογία του δικτύου ενώ ως $X=\{X_{1},X_{2},...,X_{n}\}$ ορίζεται ένα σύνολο μεταβλητών αποτελούμενο: α) Από μια δομή δικτύου S η οποία υποδηλώνει το σύνολο των εξαρτήσεων μεταξύ των μεταβλητών $X$ και β) από ένα σύνολο $P$ από τοπικές κατανομές πιθανοτήτων συσχετιζόμενες με κάθε μια μεταβλητή.

Οι γονείς του κόμβου $X_{i}$ στο $S$ καθώς και τις αντίστοιχες μεταβλητές που αντιστοιχούν στους γονείς στην τοπολογία του δικτύου, υποδηλώνονται με $parents(X_{i})$

Η τιμή πιθανότητας για κάθε κόμβο δεδομένου του «γονικού» κόμβου τους αναπαριστάται με τη μορφή πίνακα που ονομάζεται Πίνακας υπό Συνθήκη πιθανοτήτων (Conditional Probability Table).

Παράδειγμα εφαρμογής Κανόνα Bayes

Στο παρακάτω δίκτυο μπορούμε να δούμε ένα γράφημα, με τρεις κόμβους και τις ακμές. Ο κόμβος ΣΥΝΝΕΦΙΑ δείχνει προς τους κόμβους ΠΟΤΙΣΤΗΡΙ και ΒΡΟΧΗ, και οι κόμβοι ΒΡΟΧΗ και ΠΟΤΙΣΤΗΡΙ δείχνουν προς τον κόμβο ΒΡΕΓΜΕΝΟ ΓΡΑΣΙΔΙ. Μπορούμε επίσης να δούμε τον πίνακα υπό συνθήκη πιθανοτήτων. Για κάθε κόμβο έχουμε έναν πίνακα πιθανοτήτων και κάθε κόμβος μπορεί να είναι αληθής ή ψευδής, με διαφορετικές πιθανότητες για αυτό.

Συγκεκριμένα, ο ΣΥΝΝΕΦΙΑ είναι 50% αληθής και 50% ψευδής. Ο κόμβος ΒΡΟΧΗ επηρεάζεται από την κατάσταση του ΣΥΝΝΕΦΙΑ. Έτσι μπορούμε να δούμε ότι αν ο ΣΥΝΝΕΦΙΑ είναι αληθής, τότε η πιθανότητα του ΒΡΟΧΗ είναι 0,8, ενώ αν ο ΣΥΝΝΕΦΙΑ είναι ψευδής τότε η πιθανότητα του ΒΡΟΧΗ είναι χαμηλότερη και συγκεκριμένα 0,2. Το ίδιο ισχύει για τον κόμβο ΠΟΤΙΣΤΗΡΙ. Ο ΒΡΕΓΜΕΝΟ ΓΡΑΣΙΔΙ εξαρτάται τόσο από τον ΠΟΤΙΣΤΗΡΙ όσο και από τον ΒΡΟΧΗ.

Εφαρμογές των Bayesian δικτύων

Τα Bayesian δίκτυα έχουν μια τεράστια εφαρμογή στον πραγματικό κόσμο και εφαρμόζονται σε διάφορους τομείς, όπως:

Τα γονίδια αντιστοιχούν σε κόμβους στο δίκτυο και οι ρυθμιστικές σχέσεις μεταξύ των γονιδίων απεικονίζονται με τις κατευθυνόμενες άκρες. Στο παραπάνω απλό παράδειγμα, το γονίδιο GeneΑ ρυθμίζει το Gene C και το Gene D, το γονίδιο Gene B επίσης ρυθμίζει το Gene D και το γονίδιο Gene C ρυθμίζει το Gene E. Η κατανομή των πιθανοτήτων για τα επίπεδα έκφρασης του κάθε γονιδίου διαμορφώνεται από τις παραμέτρους των Bayesian δικτύων. Η κατανομή πιθανοτήτων για ένα γονίδιο εξαρτάται μόνο από τους αντίστοιχους ρυθμιστές του στο δίκτυο. Για παράδειγμα τα επίπεδα έκφρασης της Gene C και του Gene D σχετίζονται μόνο επειδή μοιράζονται ένα κοινό ρυθμιστή Gene A.

1. στην κατασκευή μοντέλων στην υπολογιστική βιολογία και στη βιοπληροφορική (ρυθμιστικά δίκτυα, πρωτεϊνική δομή, στην ανάλυση της γονιδιακής έκφρασης)
2. στη μάθηση epistasis από τα σύνολα δεδομένων GWAS
3. στην ιατρική
4. στη βιοπαρακολούθηση
5. στην κατάταξη εγγράφων, στην ανάκτηση πληροφοριών
6. στη σημασιολογική αναζήτηση
7. στην επεξεργασία εικόνας, στη συγχώνευση δεδομένων, στα συστήματα υποστήριξης αποφάσεων
8. στη μηχανική μάθηση
9. στα τυχερά παιχνίδια
10. στο νόμο

Τα Bayesian δίκτυα στην επιστήμη της Βιολογίας

Τα Bayesian δίκτυα γίνονται ολοένα και πιο σημαντικά στην επιστήμη της Βιολογίας, χρησιμοποιούνται :

• για την εξαγωγή συμπερασμάτων στα πολύπλοκα βιολογικά δίκτυα
• για τη μοντελοποίηση πρωτεϊνικών σηματοδοτικών μονοπατιών
• για την ενσωμάτωση, ταξινόμηση και ανάλυση δεδομένων στη Βιολογία Συστημάτων

Υπάρχουν πολλές εφαρμογές στη Βιολογία όπου απαιτείται η ταξινόμηση των δεδομένων, για παράδειγμα, η πρόβλεψη της γονιδιακής λειτουργίας. Για την επίλυση τέτοιων προβλημάτων, απαιτείται ένα σύνολο κανόνων που μπορούν να χρησιμοποιηθούν για την πρόβλεψη, αλλά συχνά αυτές οι μέθοδοι δεν είναι διαθέσιμες,ή στην πράξη αποδεικνύονται πολλές εξαιρέσεις από τους κανόνες ή ακόμη και υπερβολικοί κανόνες, που οδηγούν σε φτωχά αποτελέσματα.

Στο σχήμα παρουσιάζεται ένα παράδειγμα ενός Bayesian δικτύου που περιγράφει ένα δίκτυο γονιδιακής ρύθμισης. Η έκφραση κάθε γονιδίου εκφράζεται με μια μεταβλητή κοινής συνάρτησης πιθανότητας (Joint Probability Distribution) που περιγράφει πώς ρυθμίζονται τα γονίδια το ένα από το άλλο. Μια τέτοια συνάρτηση μπορεί να είναι περίπλοκη ακόμη και για πέντε μόνο μεταβλητές. Ωστόσο, η γραφική αναπαράσταση καθιστά σαφές πού υπάρχουν οι ρυθμιστικές σχέσεις μεταξύ των γονιδίων.

Οι εφαρμογές της βιοπληροφορικής των Bayesian δικτύων έχουν συμπεριλάβει την ομαδοποίηση γονιδίων και τη δημιουργία κυτταρικών δικτύων,καθώς είναι κατάλληλα για τη μοντελοποίηση στοχαστικών πολύπλοκων βιολογικών συστημάτων και αυτά τα δίκτυα μπορούν εύκολα να γίνουν κατανοητά. Ένα εξαιρετικό παράδειγμα συνδυασμού νέων δεδομένων και γνώσης στο πεδίο της βιοπληροφορικής είναι το MAGIC BN το οποίο έχει σχεδιαστεί χρησιμοποιώντας ειδική γνώση για το συνδυασμό πληροφοριών από διαφορετικές ετερογενείς πηγές δεδομένων για την ταξινόμηση της πρόβλεψης της γονιδιακής λειτουργίας.

Φυλογενετική ανάλυση

Η Bayesian εξαγωγή συμπεράσματος είναι μια στατιστική εξαγωγή συμπεράσματος στην οποία τα στοιχεία ή οι παρατηρήσεις χρησιμοποιούνται για την ενημέρωση ή την εκ νέου εξαγωγή συμπεράσματος για την πιθανότητα ότι μια προηγούμενη υπόθεση μπορεί να είναι αληθινή. Το όνομα προέρχεται από τη συχνή χρήση του Θεωρήματος του Bayes στη διαδικασία εξαγωγής συμπεράσματος. Η Bayesian φυλογενετική ανάλυση χρησιμοποιεί το θεώρημα Bayes, το οποίο συσχετίζει τη μεταγενέστερη πιθανότητα ενός δέντρου στην πιθανότητα των δεδομένων, και την προγενέστερη πιθανότητα του δέντρου και του μοντέλου της εξέλιξης.

Μηχανική μάθηση και Bayesian δίκτυα

Οι προσεγγίσεις της μηχανικής μάθησης (Machine learning) συχνά παράγουν ικανοποιητικά αποτελέσματα, όπου ένας μεγάλος αριθμός παραδειγμάτων, το σετ εκπαίδευσης(training set), χρησιμοποιείται για την προσαρμογή των παραμέτρων ενός μοντέλου που μπορούν στη συνέχεια να χρησιμοποιηθούν για την εκτέλεση προβλέψεων ή ταξινόμησης δεδομένων.

Ένα κοινό πρόβλημα στη μηχανική μάθηση είναι η υπερμοντελοποίηση, όπου το μοντέλο που έχει παραχθεί είναι πολύ περίπλοκο και γενικεύεται ελάχιστα σε νέα δεδομένα. Με την αύξηση του μεγέθους του σετ εκπαίδευσης, μπορεί να ξεπεραστεί το πρόβλημα της υπερμοντελοποίησης, όμως αυτό απαιτεί περισσότερα δεδομένα εκπαίδευσης, τα οποία δεν είναι πάντα διαθέσιμα. Επιπλέον, συχνά είναι σημαντικό να προσδιοριστεί η αβεβαιότητα στις παραμέτρους του μοντέλου που έχει παραχθεί ή ακόμη και στην επιλογή του μοντέλου.Με τη χρήση των Bayesian δικτύων είναι εφικτό να ξεπεραστούν τα παραπάνω ζητήματα καθώς η θεωρία των πιθανοτήτων Bayesian παρέχει μηχανισμούς για την περιγραφή της αβεβαιότητας και για την προσαρμογή του αριθμού των παραμέτρων στο μέγεθος των δεδομένων. Η γραφική αναπαράσταση παρέχει έναν απλό τρόπο απεικόνισης της δομής ενός μοντέλου. Μελετώντας τα μοντέλα αντλούνται πολύτιμες πληροφορίες για τα δεδομένα και δίνεται η δυνατότητα να παραχθούν νέα μοντέλα.

Bayesian δίκτυα και Covid-19

Μια εφαρμογή των Bayesian δικτύων, αφορά την ανίχνευση του Coronavirus Disease 2019 (Covid-19). Οι Alile, Solomon & Osayamen, Otokiti. (2020), πρότειναν και προσομοίωσαν ένα Bayesian Belief Network μοντέλο για να προβλέψουν τον (Covid-19). Το μοντέλο σχεδιάστηκε χρησιμοποιώντας τον Bayes Server και δοκιμάστηκε με δεδομένα που συλλέχθηκαν από το ιατρικό αποθετήριο COVID-19. Το μοντέλο είχε ακρίβεια πρόβλεψης 99%.

Μια επιστημονική ομάδα επιχείρησε να συνδυάσει τις αποτελεσματικές συμβατικές ιατρικές τεχνικές με τα Bayesian δίκτυα. Σκοπός της έρευνας, υπήρξε ο σχεδιασμός μιας μετά-ανάλυσης δικτύου (network meta-analysis (NMA)) για την αξιολόγηση της θεραπευτικής επίδρασης των κλασσικών μεθόδων ιατρικής στον ασυμπτωματικό ιό.

Ακόμα μια ομάδα στη Νιγηρία επιχείρησε να χρησιμοποιήσει τα Bayesian δίκτυα για να κατασκευάσει ένα μοντέλο εκπαιδευμένο προς ένα σύστημα στόχου που μπορεί να βοηθήσει στην πρόβλεψη των καλύτερων παραμέτρων που χρησιμοποιούνται για την ταξινόμηση του νέου κορονοϊού (covid-19). Συγκεκριμένα, Για να ξεπεράσουμε τις ελλείψεις στην υιοθέτηση προγραμμάτων μηχανικής μάθησης για τον χειρισμό κακόβουλων δεδομένων, χρησιμοποίησαν το Bayesian δίκτυο για να βοηθήσουν στην επιλογή χαρακτηριστικών και παραμέτρων που θα βοηθήσουν στη μειωμένη εξάπλωση και διάδοση της νόσου covid-19 με βελτιωμένη ανίχνευση και ακριβή ταξινόμηση. Έτσι, η μελέτη επιδιώκει να βοηθήσει τους ιατρούς με μια απόφαση που να υποστηρίζει συμπεράσματα από μια βάση δεδομένων που θα βοηθήσει στην πρόβλεψη πιθανών συμπτωμάτων εξάπλωσης και διάδοσης.