Η πρώτη σημαντική ανάμειξη του Ιωάννη Ράλλη στα κοινά της [[Ελλάδα]]ς έγινε την άνοιξη του 1904, όταν, μαζί με τον [[Δημήτρης Καλαποθάκης|Δημήτρη Καλαποθάκη]], τον [[Στέφανος Δραγούμης|Στέφανο Δραγούμη]], τον [[Πέτρος Σάρογλος|Πέτρο Σαρόγλου]], τον [[Παύλος Μελάς|Παύλο Μελά]] και άλλους, δημιούργησε το '''Μυστικό [[Ελληνικό Μακεδονικό Κομιτάτο]]''' για την δημιουργία αντάρτικου στην υπό [[Οθωμανική Αυτοκρατορία|οθωμανική]] κατοχή [[Μακεδονία]]. Το [[Ελληνικές βουλευτικές εκλογές 1906|1906]] αναμείχθηκε στην πολιτική και εξελέγη πρώτα [[Εκλογική περιφέρεια Μεγάρων|βουλευτής Μεγάρων]], επανεκλεγείς έκτοτε σε όλες σχεδόν τις μέχρι του [[Ελληνικές βουλευτικές εκλογές 1936|1936]] εκλογές βουλευτής, άλλοτε [[Εκλογική περιφέρεια Αττικής|Αττικής]] και άλλοτε [[Εκλογική περιφέρεια Αθηνών|Αθηνών]]. Ανέλαβε για πρώτη φορά υπουργός το 1920 (επί [[Κυβέρνηση Δημητρίου Ράλλη 1920|κυβερνήσεως]] [[Δημήτριος Ράλλης|Δημητρίου Ράλλη]]) το [[Υπουργείο Εθνικής Οικονομίας]] και προσωρινά τοστο [[Υπουργείο Ναυτικών]].<ref>{{Cite web|url=http://www.ggk.gov.gr/?p=902|title=Γενική Γραμματεία της Κυβέρνησης {{!}} Κυβέρνηση ΡΑΛΛΗ ΔΗΜΗΤΡΙΟΥ (1920)|last=|first=|date=|website=www.ggk.gov.gr|publisher=|accessdate=2016-07-27}}</ref> Αργότερα, πολιτεύθηκε με το φιλοβασιλικό [[Λαϊκό Κόμμα]] και, επί [[Κυβέρνηση Παναγή Τσαλδάρη 1932|κυβέρνησης]] [[Παναγής Τσαλδάρης|Παναγή Τσαλδάρη]], κατέλαβε για λίγους μήνες το [[Υπουργείο Εξωτερικών (Ελλάδα)|Υπουργείο Εξωτερικών]] (από 04 Νοεμβρίου 1932 έως 16 Ιανουαρίου 1933)<ref name="makry86"/><ref>{{Cite web|url=http://www.ggk.gov.gr/?p=992|title=Γενική Γραμματεία της Κυβέρνησης {{!}} Κυβέρνηση ΤΣΑΛΔΑΡΗ ΠΑΝΑΓΗ (1932)|last=|first=|date=|website=www.ggk.gov.gr|publisher=|accessdate=2016-07-27}}</ref> και μετά τις [[Ελληνικές βουλευτικές εκλογές 1933|εκλογές του Μαρτίου 1933]] το [[Υπουργείο Εσωτερικών και Αεροπορίας]] (Μάρτιος – Αύγουστος 1933).<ref>{{Cite web|url=http://www.ggk.gov.gr/?p=1003|title=Γενική Γραμματεία της Κυβέρνησης {{!}} Κυβέρνηση ΤΣΑΛΔΑΡΗ ΠΑΝΑΓΗ (1933)|last=|first=|date=|website=www.ggk.gov.gr|publisher=|accessdate=2016-07-27}}</ref> Μετά από διαφωνία του με τον Τσαλδάρη, παραιτήθηκε από την κυβέρνηση. Στις εκλογές όμως του [[Ελληνικές εκλογές 1935|1935]] απέτυχε να εκλεγεί, οπότε μαζί με τον [[Ιωάννης Μεταξάς|Ιωάννη Μεταξά]] και τον [[Γεώργιος Στράτος|Γεώργιο Στράτο]] κατήλθαν σε εκλογές με το σύνθημα της επαναφοράς της [[Βασιλευομένη Δημοκρατία|Βασιλευόμενης Δημοκρατίας]]. Στις εκλογές του [[Ελληνικές βουλευτικές εκλογές 1936|1936]] ηγήθηκε ιδίας ομάδας που αντιπροσωπεύθηκε στην [[Βουλή των Ελλήνων|Βουλή]] από 8 βουλευτές. Στη συνέχεια τάχθηκε εναντίον της [[Καθεστώς της 4ης Αυγούστου|δικτατορίας Μεταξά]] και το 1938 ηγήθηκε του [[Κίνημα της Κρήτης|Κινήματος της Κρήτης]].
