民撰議院設立建白書に名を連ねた江藤新平は1874年（明治7年）郷里の佐賀で島義勇と共に不平士族の首領となって反乱を起こした（佐賀の乱）。政府はこれを鎮圧したが、廃刀令や家禄制度の廃止などによって士族の不満はいっそう高まった[注釈 16]。1876年（明治9年）熊本で神風連の乱、福岡で秋月の乱、山口で萩の乱と一連の士族反乱が起こり、翌1877年（明治10年）ついに西郷隆盛を首領とする鹿児島士族ら約4万人が政府に対して兵を挙げた（西南戦争）。西南戦争は政府にとっても大きな試練で、新しい軍隊を総動員して約8ヶ月に渡って九州各地で激しい戦闘が展開された。戦争のさなか木戸が病死、西郷も自刃し、翌1878年（明治11年）には大久保が東京で不平士族の島田一郎ら6名により暗殺された（紀尾井坂の変）。こうして明治政府の「維新三傑」体制は終わりを告げ、薩長元老による官僚藩閥政権が確立した。

自由民権運動の共通の目的は国会開設であった。次第に農民の間にも支持層が広がり、1880年（明治13年）全国の民権派団体が大阪に集まって愛国社の大会を開き、国会期成同盟を結成し8万7千名余の署名を連ねた。私擬憲法が草案され始め、40編以上が発表された。イギリス流の二院制の議会政治（交詢社、嚶鳴社）、人民主権と一院制（立志社、植木枝盛）、君権主義（五日市憲法）などのように民権派から発表されたものが多かった。1881年（明治14年）開拓使官有物払下げ事件に端を発した明治十四年の政変で、井上毅・伊藤博文・岩倉具視らドイツ流憲法の支持者は即時国会開設を唱えていた急進派官吏を政府から追放する一方「国会開設の詔勅」を発し、1890年（明治23年）に議会を開設することを国民に約束した。その結果、明治政府から追放されることとなった板垣退助は自由党を、福地源一郎は立憲帝政党を、大隈重信は立憲改進党を結成し、来る国会開設の準備を図ろうとした。

1882年（明治15年）道路造成事業に反対した農民や自由党員らが検挙され（福島事件）、続いて加波山事件・秩父事件など東日本各地で自由党員らによる暴発事件が起こった。こうして自由民権運動は衰退していき、1887年（明治20年）大同団結運動を起こしに政府に迫ったが、政府は保安条例を発して多くの民権運動家を東京から追放した。財政面では、西南戦争後のインフレーションの整理を図るため、大蔵卿松方正義を中心に1882年（明治15年）に日本銀行を創立し、1885年（明治18年）から正貨である銀貨と引き換えのできる兌換紙幣を発行させた（銀本位制）。また官営工場を民間に払い下げた影響から政商が生まれ、のちにこれらは財閥を形成していった。

1882年（明治15年）、政府内で実権を握った伊藤は憲法調査のためヨーロッパを訪問[注釈 17][34]。帰国後1884年（明治17年）華族令を制定して国家の功労者にも爵位を与えて華族とし、貴族院を作るための華族制度を整えた。1885年（明治18年）には太政官制を廃止して内閣制を導入し、初代内閣総理大臣には伊藤博文が就任、1888年（明治21年）新設された枢密院の議長にも就任した。1888年（明治21年）には市制、町村制、府県制、郡制が公布され地方自治制が実施された。1889年（明治22年）大日本帝国憲法、翌1890年（明治23年）教育勅語が発布された。

伊藤以降の初期内閣の構成はいずれも薩摩藩（黒田清隆、松方正義）と長州藩（伊藤博文、山縣有朋）を中心にして組閣され、1890年（明治23年）11月25日帝国議会の幕が開いた。以後激しい選挙干渉にて民党を抑えようとしたが、1892年（明治25年）に成立した第2次伊藤内閣の時には政府と自由党が次第に歩み寄りを進め、協力して政治を運用するようになった。

伊藤博文

黒田清隆

山縣有朋

松方正義

条約改正問題「外国人司法官任用問題」も参照鹿鳴館青木周蔵

19世紀後半にアジアの多くの国々は欧米諸国の植民地となっていたが、幕末以来の不平等条約を改正して関税自主権の確立（税権回復）と領事裁判制度の撤廃（法権回復）とを実現することが、日本にとって欧米諸国と対等の地位に立つためには何よりも重要であった。1871年（明治4年）、日本と清国は日清修好条規に調印。1873年（明治6年）に外務卿・副島種臣は、清国皇帝に謁見し日清修好条規批准書の交換を行った。

1878年（明治11年）に外務卿・寺島宗則の下でアメリカとの間で税権回復の交渉が成立したが、イギリスなどの反対により新しい条約は発効しなかった。後を継いだ外務卿・井上馨は欧化政策を取り、風俗や生活様式を西洋化して交渉を有利に運ぼうとした。1883年（明治16年）に日比谷に建てられた「鹿鳴館」では、政府高官や外国公使などによる西洋風の舞踏会がしきりに開かれた。井上の改正案は外国人に日本国内を開放（内地雑居）するかわりに税権の一部を回復し、領事裁判制度を撤廃するというものであったが、国権を傷つけるものだとして政府内外から強い反対が起こり、1887年（明治20年）交渉は中止され、井上は辞職した。