Γεννήθηκε στην [[Αθήνα]] και ήταν γιος του [[Γεώργιος Α. Ράλλης|Γεωργίου Ράλλη]], νομικού, πολιτικού και μέλους της [[Οικογένεια Ράλλη (αθηναϊκός κλάδος)|φαναριώτικης οικογένειας Ράλλη]].<ref name=":0" />, και της [[Πηνελόπη Πάνου Ράλλη|Πηνελόπης]] κόρης του [[Ζώης Πάνου|Ζώη Πάνου]]<ref>[https://srv-web1.parliament.gr/display_doc.asp?item=44350&seg= ΑΙΩΝ, φύλλο 10/5/1882]</ref>. Κατά την περίοδο των σπουδών του στη [[Νομική Σχολή Αθηνών]] επί [[Όθων της Ελλάδας|Όθωνα]] συμμετείχε σε αντιμοναρχικές εκδηλώσεις παρά τη συμμετοχή του πατέρα του ως Υπουργού στη φιλοβασιλική κυβέρνηση Μιαούλη. Ίσως και για να απομακρυνθεί από τα γεγονότα αυτά, συνέχισε τις σπουδές του στο [[Παρίσι]], όπου συνέγραψε διδακτορική διατριβή με θέμα τα «Ναυτικά Δάνεια» (1866), η οποία του επέτρεψε να γίνει υφηγητής [[Εμπορικό Δίκαιο|Εμπορικού Δικαίου]] στην Αθήνα όπου επέστρεψε το [[1868]]<ref>Αντώνης Μακρυδημήτρης, Οι υπουργοί των εξωτερικών της Ελλάδας 1829-2000, εκδ.Καστανιώτης, Αθήνα, 2000, σελ69</ref>. Τέσσερα χρόνια αργότερα (1872) εκλέχθηκε για πρώτη φορά βουλευτής [[Αττική|Αττικής]] και έλαβε το παρώνυμο "''ο Αττικάρχης''" επειδή συνέχεια εκλεγόταν στην περιφέρεια αυτή. Πολιτεύτηκε ως αντίπαλος του [[Δημήτριος Βούλγαρης|Δημητρίου Βούλγαρη]] και προσχώρησε αμέσως μετά τον σχηματισμό του το [[1875]] στο Τρικουπικό Κόμμα, αναλαμβάνοντας μάλιστα το Υπουργείο Εκκλησιαστικών . Αν και ήταν καλός ρήτορας, ο ορμητικός του χαρακτήρας τον ώθησε ακόμη και στην επίλυση των διαφορών του με μονομαχία εναντίον του βουλευτή Λακωνίας [[Γεώργιος Πετροπουλάκης|Γεωργίου Πετροπουλάκη]] και του πρωθυπουργού [[Κωνσταντίνος Κωνσταντόπουλος|Κωνσταντόπουλου]].
