Αμέσως μετά την εκλογή του βρέθηκε αντιμέτωπος με την επίλυση του [[ακακιανά σχίσματα|ακακιανόακακιανού σχίσμασχίσματος]], το οποίο προεκλήθη ως επί το πλείστον από τις πρωτοβουλίες του [[Πατριάρχης Ακάκιος|Πατριάρχη Ακάκιου]] και δεν είχε θεραπευτεί στη βραχύβια Πατριαρχία του προκατόχου του, [[Πατριάρχης Φραβίτας|Φραβίτα]]. Έτσι, όταν έλαβε την επιστολή του επισκόπου [[Αλεξάνδρεια|Αλεξανδρείας]] [[Πέτρος Γ΄ Αλεξανδρείας|Πέτρου Μογγού]], στην οποία αυτός καταδίκαζε την [[Δ΄ Οικουμενική Σύνοδος|Δ΄ Οικουμενική Σύνοδο]], ο Ευφήμιος ταράχθηκε και έκοψε τις σχέσεις της Εκκλησίας της Κωνσταντινούπολης με αυτή της Αλεξάνδρειας. Ο θάνατος του Πέτρου Μογγού τον Οκτώβριο του [[490]] και η εκλογή του [[Αθανάσιος Β΄ Αλεξανδρείας|Αθανασίου Β΄]] επιδείνωσε τις σχέσεις των δύο εκκλησιών. Για τη θεραπεία του ακακιανού σχίσματος, ο Ευφήμιος προχώρησε ακόμη παραπέρα: Το 491 συνεκάλεσε [[Σύνοδος (εκκλησιαστική)|Σύνοδο]] στην Κωνσταντινούπολη, η οποία αναγνώρισε τη Δ΄ Οικουμενική Σύνοδο. Ο Ευφήμιος ενέταξε εκ νέου στα [[Εκκλησιαστικά Δίπτυχα|Δίπτυχα]] το όνομα του [[Πάπας Φήλιξ Γ΄|Πάπα Φήλικος Γ΄]], το οποίο είχαν διαγράψει οι προκάτοχοί του, λόγω της αντίδρασής του προς το ''[[Ενωτικόν]]'' του αυτοκράτορα [[Ζήνων (αυτοκράτορας)|Ζήνωνα]]. Δεν έφτασε όμως στο σημείο να αποκηρύξει και να διαγράψει από τα Δίπτυχα τους προκατόχους του Ακάκιο και Φραβίτα, οπότε και ο Πάπας, που τους θεωρούσε αιρετικούς, αρνούνταν να επανέλθει σε κοινωνία μαζί του. Ο Ευφήμιος συνέχισε τις προσπάθειες και με τον επόμενο Πάπα, [[Πάπας Γελάσιος Α΄|Γελάσιο Α΄]], ο οποίος εντέλει, σε ένδειξη συμβιβασμού, δέχθηκε τις χειροτονίες και τις βαφτίσεις που είχαν τελέσει ο Ακάκιος και ο Φραβίτας.
