29 Ekim 1923 tarihinde cumhuriyetin ilanı ile sonuçlanan süreçte, Mustafa Kemal ile yakın siyasal iş birliği içindeydi. 30 Ekim 1923 tarihinde Türkiye Cumhuriyeti'nin ilk hükûmetini kurdu ve aynı zamanda Halk Fırkası (sonradan Cumhuriyet Halk Partisi, veya CHP) genel başkan vekilliğini üstlendi.

lk başbakanlık döneminde Cumhuriyetin ilk devrimleri yapılmaya başlandı. Öğretimin birleştirilmesi, halifeliğin kaldırılması ve Diyanet İşleri Başkanlığı'nın kurulması (3 Mart 1924) bu dönemde gerçekleşti. İki dönem başbakanlık yaptıktan sonra, muhalefet partisi olarak kurulan Terakkiperver Cumhuriyet Fırkası'nın Çankaya'ya olan aşırı muhalefetini hükûmet üzerinden yürütmesi üzerine Cumhurbaşkanı Mustafa Kemal'in isteğiyle 8 Kasım 1924 tarihinde başbakanlıktan istifa etti. 21 Kasım 1924 tarihinde yeni hükûmeti Fethi Bey kurdu. Fethi Bey'in doğudaki Şeyh Said İsyanı'na müdahalede geç kalması ve istifa etmesi üzerine, 3 Mart 1925 tarihinde Cumhurbaşkanı Mustafa Kemal tarafından yeniden hükûmeti kurmakla görevlendirildi. Ayaklanmanın bastırılmasında Başbakan olarak önemli rol oynadı. 6 Mart 1925 tarihinde Takrir-i Sükun Kanunu'nu yürürlüğe sokarak İstiklâl Mahkemeleri'nin tekrar kurulmasını gerçekleştirdi. Bu kanuna dayanarak tüm muhalefet partilerini ve muhalif gazeteleri kapattırdı. 1926 yılında ferîk-i evvel (orgeneral) rütbesine terfi etti. 1927 yılında kendi isteğiyle askerlikten emekli oldu. Bu tarihten sonra, yeni devletin oluşumunda Mustafa Kemal ile birlikte en önemli siyasal kişilik olarak belirdi.

1932'de Sovyetler Birliği ile diplomatik yakınlaşma amacıyla Moskova'ya gitmiştir. 25 Nisan - 10 Mayıs 1932 tarihleri arasında birtakım görüşmeler yapmıştır. İnönü Moskova'ya gitme amacını şu şekilde izah etmektedir.