1994年4月、細川護熙の内閣総理大臣が辞任を表明した。連立与党は、次期首班に新生党党首羽田孜（細川内閣で副総理兼外務大臣）を推すことで合意し、国会で羽田が首相に指名された。

しかし、新生党、日本新党、民社党などが日本社会党抜きで院内会派「改新」を結成すると発表した。この院内会派成立により、「改新」は連立与党内で日本社会党を大きく上回る最大勢力となる。村山はこれに強く反発して日本社会党の連立離脱を表明。羽田内閣は少数与党で発足し、戦後2番目の短命内閣となった。羽田政権下、社会党内では、久保亘、佐藤観樹、上原康助、赤松広隆らが連立復帰を主張する一方、山口鶴男、大出俊、野坂浩賢らは連立離脱を支持した。

6月25日、羽田内閣が総辞職し、日本社会党を巡り自由民主党、連立与党が協議を行う中、自由民主党総裁河野洋平が日本社会党委員長首班の連立政権を打診し、新党さきがけを含めた自社さ共同政権構想に合意した。しかし、自民党総裁経験者である海部俊樹が「社会党委員長を首班に支持できない」と主張し、それに中曾根康弘も同調し、連立与党は海部俊樹を統一候補に指名した。6月29日、首班指名が行われるが、衆議院で過半数に達せず、決選投票となった。その結果、村山が指名決選投票で海部を破って内閣総理大臣に指名され、自社さ連立内閣が発足した。

総理大臣在任中

1994年7月、第130回国会にて所信表明演説に臨み、「自衛隊合憲、日米安保堅持」と発言し、日本社会党のそれまでの政策を転換した（後述）。

1995年1月、兵庫県南部地震に伴う阪神・淡路大震災発生時、政府の対応が遅いと批判され、内閣支持率の急落につながった（後述）。3月には「オウム真理教」幹部による地下鉄サリン事件が起こった（後述）。その後、公安調査庁の調査結果を尊重し、オウム真理教への破壊活動防止法適用を公安審査委員会に申請した。

5月10日、自由民主党幹事長森喜朗が「村山総理は『過渡的内閣には限界がある』と洩らしている」と発言し、総理大臣官邸での村山との会話を洩らした。この発言を受け読売新聞社が「首相、退陣意向洩らす」と報道し、他社もこれに続く大騒ぎとなる。その結果、自社さ連立政権全体から森は猛反発を受け、閣内では村山の慰留に努める雰囲気が醸成され、村山内閣はその後も継続した。

6月9日、衆議院本会議で自民・社会・さきがけ3会派共同提出の「歴史を教訓に平和への決意を新たにする決議」（不戦決議）が可決された。

6月21日、全日空857便ハイジャック事件が発生した際には、特殊武装警察に強行突入を指示し鎮圧した（後述）。

7月、「財団法人女性のためのアジア平和国民基金」（アジア女性基金）を発足させた（後述）。同月、第17回参議院議員通常選挙が行われた。この選挙は、非自民首相の大型国政選挙としては自民党が結党した1955年以来、初めてであった。この選挙で日本社会党は大きく議席数を減らしたため村山は辞意を漏らしたが、与党側が慰留したことから首相を続投し、内閣改造を行った。

8月15日、『戦後50周年の終戦記念日にあたって』と題する談話」（村山談話）を閣議決定した（後述）。

1996年1月5日、首相退陣を表明した。自社さ政権協議にて、自民党総裁橋本龍太郎を首班とする連立に合意した。11日に内閣総辞職し、橋本連立内閣が発足した。

総理大臣退任後

橋本連立内閣では入閣せず、首相退任後は党務に専念した。1996年1月17日、日本社会党委員長選挙にて秋葉忠利を破り再選した。1月19日、日本社会党を党名変更し、社会民主党を結成し、初代社民党党首に就任した。しかし、新党さきがけ代表幹事鳩山由紀夫が新党構想を提唱し、同年9月に社民党から30人が造反した。衆議院解散を前に衆議院議長土井たか子を社民党党首に迎え、自らは特別代表に就任した。

11月、第2次橋本内閣にて社民党は閣外協力に転じた。その後、1997年の沖縄特別措置法案採決には与党ながら反対に回った。1998年6月、社民党が自民党との政権協議を破棄し、自社さ連立政権は崩壊した。

1999年、野中広務らと共に朝鮮民主主義人民共和国訪問した（村山訪朝団）。2000年4月、内閣総理大臣小渕恵三が在任中に脳梗塞で倒れ、内閣総辞職後の5月14日に亡くなった。