Ο βωμός αφαιρέθηκε από την Curia από τον Αυτοκράτορα [[Κωνστάντιος Β´|Κωνστάντιο Β']] το 357. Αργότερα αποκαταστάθηκε από τον Αυτοκράτορα [[Ιουλιανός|Ιουλιανό]], ο οποίος ήταν ο μόνος Αυτοκράτορας -μετά τη μεταστροφή του [[Μέγας Κωνσταντίνoς|Κωνσταντίνου Α']]- για ναπου τηρήσειτηρούσε την [[Θρησκεία στην αρχαία Ρώμη|παραδοσιακή θρησκεία της Ρώμης]]. Ο βωμός αφαιρέθηκε ξανά από τον [[Γρατιανός|Γρατιανό]] το 382.
Μετά το τέλος του Γρατιανού, ο [[Κόιντος Αυρήλιος Σύμμαχος|Κόντος Αυρήλιος Σύμμαχος]], [[Ρωμαϊκή σύγκλητος|συγκλητικός]] και [[Πολίαρχος|έπαρχος (preferctus) της Ρώμης]] που προσπάθησε να διατηρήσει τις θρησκευτικές παραδόσεις της Ρώμης, έγραψε το 384 έγραψε στον νέο Αυτοκράτορα [[Ουαλεντινιανός Β΄|Βαλεντινιανό Β΄]] ζητώντας την αποκατάσταση του βωμού. <ref>Symmachus, [https://people.ucalgary.ca/~vandersp/Courses/texts/sym-amb/symrel3f.html ''Relation'' III]</ref> Στην Αυτοκρατορική αυλή του [[Μιλάνο|Μιλάνου]], ο νεαρός Αυτοκράτορας αρνήθηκε το αίτημα.: ο [[Αμβρόσιος Μεδιολάνων|Ο Αμβρόσιος]] επίσκοπος του Μιλάνου έπεισε με επιτυχία τον Βαλεντινιανό Β΄ να αντισταθεί στο αίτημα ναδιατήρησης διατηρηθείτου ο βωμόςβωμού. <ref>Ambrose, [https://people.ucalgary.ca/~vandersp/Courses/texts/sym-amb/ambrepf.html ''Epistles'' XVII and XVIII]</ref> Ωστόσο δεν ήταν το κύριο πρόσωπο πίσω από το ψήφισμα, που αφαίρεσε τον βωμό, αν και συμμετείχε στη συζήτηση. <ref>Ambrose ''Epistles'' 57.2</ref>
Περαιτέρω αιτήματα για την αποκατάσταση του βωμού εκτράπηκαναποτράπηκαν το 391 από ένα διάταγμα του αυτοκράτοραΑυτοκράτορα [[Θεοδόσιος Α΄|Θεοδοσίου Α΄]], ως μέρος των προσπαθειών του για να διασφαλίσει, ότι ο Χριστιανισμός ήταν η μόνη θρησκεία, που εφαρμόζεται στην Αυτοκρατορία. Ο βωμός αποκαταστάθηκε από τον σφετεριστή [[Φλάβιος Ευγένιος|Ευγένιο]] κατά τη διάρκεια της βραχύβιας κυριαρχίας του (392–394) σύμφωνα με τον [[Παυλίνος του Μιλάνου|Παυλίνο του Μιλάνου]] στη ''Ζωή του Αμβρόσιου.''
Γράφοντας το 403, ο [[Κλαύδιος Κλαυδιανός|Κλ. Κλαυδιανός]] ανέφερε ότι το άγαλμα (αν όχι ο βωμός) ήταν τότε στο Κτήριο της Συγκλήτου. <ref>Claud. ''VI Cons. Hon.'' 636.</ref> Ο Σεριντάν αναφέρει ότι «ορισμένοι πιστεύουν ότι οι μεταφορές και οι αποκαταστάσεις αναφέρονται τόσο στον βωμό της Νίκης, όσο και στο άγαλμα της Νίκης. Άλλοι πιστεύουν ότι το άγαλμα δεν αφαιρέθηκε ποτέ από τον τόπο του. Δεν υπάρχει καμία δήλωση στους αρχαίους συγγραφείς, ως προς το τι συνέβη στο άγαλμα, όταν αφαιρέθηκε ο βωμός και η βεβαιότητα σε αυτό το σημείο είναι ανέφικτη». <ref>Sheridan, p. 206.</ref>
