Οπισθοδιάδοση
O αλγόριθμος οπισθοδιάδοσης είναι μια οικογένεια μεθόδων που χρησιμοποιούνται για την αποτελεσματική εκπαίδευση των τεχνητών νευρωνικών δικτύων (συντομογραφία ΤΝΔ), ακολουθώντας έναν αλγόριθμο βελτιστοποίησης βασιζόμενο στην κλίση που εκμεταλλεύεται τον κανόνα της αλυσίδας . Το κύριο χαρακτηριστικό της οπισθοδιάδοσης είναι η επαναληπτική, αναδρομική και αποδοτική μέθοδος για τον υπολογισμό των ανανεώσεων των βαρών για τη βελτίωση του δικτύου έως ότου είναι σε θέση να εκτελέσει το έργο για το οποίο εκπαιδεύεται. Είναι στενά συνδεδεμένη με τον αλγόριθμο Gauss-Newton .
Η οπισθοδιάδοση απαιτεί ότι οι παράγωγοι των συναρτήσεων ενεργοποίησης κατά το σχεδιασμό του δικτύου είναι γνωστοί. Η αυτόματη διαφοροποίηση είναι μια τεχνική που παρέχει αυτόματα και αναλυτικά τις παραγώγους των συναρτήσεων στον αλγόριθμο εκπαίδευσης. Στο πλαίσιο της μάθησης, η οπισθοδιάδοση χρησιμοποιείται συνήθως από τον αλγόριθμο βελτιστοποίησης μείωσης κλίσης ώστε να ρυθμίσει το βάρος των νευρώνων υπολογίζοντας την κλίση της συνάρτησης απώλειας. Η οπίσθοδιάδοση υπολογίζει τις κλίσεις, ενώ η (στοχαστική) μείωση της κλίσης χρησιμοποιεί τις κλίσεις για την εκπαίδευση του μοντέλου (μέσω βελτιστοποίησης).
Κίνητρο Επεξεργασία
Ο στόχος οποιουδήποτε επιβλεπόμενου αλγορίθμου μάθησης είναι να βρεθεί μια λειτουργία που να απεικονίζει βέλτιστα ένα σύνολο εισόδων στη σωστή έξοδο τους. Το κίνητρο για backpropagation είναι να εκπαιδεύσει ένα πολυεπίπεδο νευρωνικό δίκτυο έτσι ώστε να μπορεί να μάθει τις κατάλληλες εσωτερικές αναπαραστάσεις για να του επιτρέψει να μάθει τυχόν αυθαίρετη χαρτογράφηση της εισόδου στην έξοδο. [1]
Παραπομπές Επεξεργασία
- ↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). «Learning representations by back-propagating errors». Nature 323 (6088): 533–536. doi:. Bibcode: 1986Natur.323..533R.
Εξωτερικοί σύνδεσμοι Επεξεργασία
- Neural Network Back-Propagation for Programmers (a tutorial)
- Generalized Backpropagation
- Chapter 7 The backpropagation algorithm of Neural Networks - A Systematic Introduction by Raúl Rojas ((ISBN 978-3540605058))
- Quick explanation of the backpropagation algorithm
- Graphical explanation of the backpropagation algorithm
- Concise explanation of the backpropagation algorithm using math notation Αρχειοθετήθηκε 2016-03-26 στο Wayback Machine. by Anand Venkataraman
- Visualization of a learning process using backpropagation algorithm
- Backpropagation neural network tutorial at the Wikiversity
- «What is Backpropagation Really Doing?». 3Blue1Brown. 3 Νοεμβρίου 2017 – μέσω YouTube.