Αν και ως μουσείο ιδρύθηκε το 1810, η ιστορία της συλλογής του ξεκινά πολύ ενωρίτερανωρίτερα, έχοντας τις ρίζες της στη [[Συντεχνία του Αγίου Λουκά]] (Συντεχνία των ζωγράφων) το 1382. Τα μέλη της Συντεχνίας συναντιούνταν σε μια τοπική αίθουσα συμποσίων, της οποίας τους τοίχους κοσμούσαν με τις δικές τους δημιουργίες. Ο [[Πέτερ Πάουλ Ρούμπενς]], για παράδειγμα, δώρισε ως διακοσμητικό της αίθουσας τον πίνακά του ''Οικογένεια με παπαγάλους'' (1614) και σήμερα κοσμεί την κεντρική αίθουσα του μουσείου που φέρει το όνομά του (Rubens gallery).<ref name=cork>[www.visual-arts-cork.com/museums/royal-museum-antwerp.htm Encyclopedia "Visual Arts.com", ''Royal Museum of Fine Arts, Antwerp'']</ref> Όταν η Συντεχνία διαλύθηκε, τα έργα τέχνης που κατείχε μεταφέρθηκαν στην Ακαδημία Καλών Τεχνών, την οποία είχε ιδρύσει κατά κύριο λόγο ο [[Ντάβιντ Τένιερς ο νεότερος]] το 1663. Η συλλογή αυτή περιλάμβανε έργα των Ρούμπενς, [[Γιάκομπ Γιόρντενς]] και [[Κορνέλις ντε Φος]]. Κατά τον 19ο αιώνα η συλλογή συνέχισε να μεγαλώνει από δωρεές εύπορων ευεργετών και περιέλαβε έργα ζωγράφων όπως οι [[Χανς Μέμλινγκ]], [[Ρόχιερ φαν ντερ Βάιντεν]] και [[Γιαν βαν Άικ]]. Κατά την ίδια περίοδο η Ακαδημία απαιτούσε από τα μέλη της να κάνουν δωρεά ένα έργο τέχνης, και για τον λόγο αυτό η συλλογή μεγάλωσε αξιοσημείωτα γρήγορα: Μεταξύ των αποκτημάτων της βρέθηκαν έργα των [[Ντομινίκ Ενγκρ]] και [[Ζακ Λουί Νταβίντ]]. Η συλλογή στεγάστηκε, τελικά, στο σημερινό κτίριο του μουσείου κατά τη δεκαετία του 1890, ενώ οι δωρεές συνεχίστηκαν. Συνολικά, ως δωρεές προς τη συλλογή υπολογίζεται ότι αποκτήθηκαν περί τα 600 έργα.<ref name=cork/>
Αξιοσημείωτο είναι ότι κατά τη γαλλική κατοχή της πόλης, πρώτα το 1794 και ύστερα το 1796, πολλά έργα τέχνης αφαιρέθηκαν από εκκλησίες και άλλα ιδρύματα, τα οποία λεηλατήθηκαν. Αργότερα, όμως όσα από αυτά τα έργα τέχνης έγινε δυνατόν να ανακτηθούν, αποτέλεσαν τμήμα της συλλογής του μουσείου. Ωστόσο, το 1817 η συλλογή αριθμούσε μόλις 127 έργα, κυρίως των μέσων του 16ου και του 17ου αιώνα. Κεντρικό κορμό της συνιστούσαν τα έργα του Ρούμπενς.<ref>Marechals, Els and de Jong, Leen. Introduction ("The History of the Royal Museum in Antwerp"). ''The Royal Museum in Antwerp''.</ref>
