「新宣言」決定後も退潮はとまらず、1986年夏のダブル選挙（第38回総選挙・第14回参院選）は大敗（衆院で112から85）し、土井たか子が委員長に就任、議会政党としては日本初の女性党首が誕生した。土井社会党は、土井の個人人気と消費税導入に対する不満を吸収して、1989年の参院選では46議席を獲得。自民党は36議席しか獲得できず、連合の会と共に、自民党を非改選を含めても過半数割れに追い込み、改選議席で自民党を上回った。この選挙は女性候補を積極的に擁立したため、「マドンナブーム」と名付けられた。土井は開票速報番組の中で、「山は動いた」という名言を残している。
1990年の総選挙でも60年代後半並みの136議席（公認漏れなどを含めると140）を回復し前進を示した。しかし、自民党は追加公認を含めて安定多数の286議席を獲得し、底力を見せた。社会党がこの選挙で建前上掲げていた政権交代の実現は頓挫した。この事実は、社会党の議席増の相当部分は、自民党からでなく、他の野党からのものであることを示していた。別の言い方をすれば、この時期は日本社会党が西欧諸国の社民主義政党のように保守主義政党と政権交代を繰り返すような勢力となる「保守政党と社民政党による二大政党制」へと発展できる最大の好機であった。問題は社会党が定数512に149人しか擁立できなかったことに示される、激しい派閥抗争と裏腹な、選挙での長年の消極策が今回もあらわれたことである。それは社会党の体力が奪われていることを示していた。土井執行部は180人擁立を目標にしていたが、無所属候補や他党系無所属候補の推薦を含めても160人にとどまった。本来なら陣頭指揮をとるべき書記長の山口鶴男さえ、自分の選挙区では2人目の候補擁立を陰に陽に妨害する始末だった。しかし、社会党内部では、政権奪取に失敗にもかかわらず議席数の回復への安堵感が強かったため、社会党は政権獲得の意志を持たない万年野党に満足する政党だとの批判を受けた。しかも、社会党の一人勝ちに不満な民社党・公明党の離反を招き、社会党右派はこれを理由に「社会党の一人勝ち」を非難さえした。
いっぽう社会党の最大の支持基盤であった総評は槙枝元文議長、富塚三夫事務局長のもとで同盟、中立労連、新産別の労働4団体との「労働戦線統一」に向けて大きく舵をきり、1982年12月14日の全民労協の結成から、官公労も合流して1989年11月21日、日本労働組合総連合会（連合）の結成大会が開催された。これにともない総評は1989年11月に解散した。連合の初代会長には情報通信労連委員長・山岸章が選出された。これは総評の労使協調路線への転換によって、それまで対立してきた同盟との和解が可能になったことによって実現したものであり、連合が結成された時に、当時の首相の竹下登は「連合を堂々と抱擁する」と発言している。なお、山岸章は「労働戦線統一の功績」により2000年4月に勲一等瑞宝章を受章している。
1990年に発生した湾岸危機をめぐり、日本がなすべき国際貢献に関する議論が政治上の重要問題として浮上したが、ここで社会党は本来の平和主義の立場から政府案に対する反対を唱え、民社党・公明党の納得し得る具体的な提案ができず、ますます民社党・公明党との関係冷却化を招いた。これと並行して民社党・公明党との協調を重視する連合など労組幹部などとの摩擦も強まり、土井執行部の求心力は急速に低下した。自衛隊の海外派兵に反対するだけで、それに代わる具体的な国際貢献策をアピールできなかった土井に対する有権者の失望も大きく、1991年統一地方選挙は敗北に終わり、土井たか子は責任を取って委員長を退いた。
なお、この年の東京都知事選では連合の山岸会長が公明党・民社党と共に磯村尚徳を担ぐよう社会党執行部に働きかけた。これは、山岸会長の持論である社公民路線の定着を狙ったものである。自民党の小沢一郎幹事長も磯村を自民党本部の候補として推薦した。社公民三党に小沢など自民党の一部が乗る形で実現した細川護熙内閣の構図はこのとき、既に出来ていたといえる。一方、社会党の独自性を強調する土井を中心とするグループは独自候補にこだわる一方で、なかなか候補者を決められず迷走した。土井を都知事候補に擁立し、土井人気を復活させようという動きも社会党の一部にあったが、土井が決断できず、水泡に帰した。社会党は選挙直前にようやく候補者を決定したが、供託金没収点すらクリアできない惨敗だった。
後任の委員長には、田邊誠と上田哲が立候補し、全党員投票による選挙となった。有力支持労組をバックにした田邊有利との観測が強かったが、護憲平和路線の維持を訴える上田が左派主体の一般党員に支持を広げ、田邊は労組からの集団入党者の票でようやく勝利した。この選挙結果は、田邊執行部に大きな足枷となり、後の党運営を縛るものとなった。
後任の田邊誠委員長は、自民党の金丸信に近いと評された。しかし1992年、PKO法案の審議では、牛歩戦術を連発するなど、強硬な反対姿勢を取った。社会党はPKOを自衛隊とは別組織にすることを条件に、PKO法案を受け入れようとした。自民・公明・民社（自公民）の三党は、一度は文民による別組織を作ることで合意しており、PKO法案はすんなり成立するかに見えた。しかし、自民党の本心はあくまでも自衛隊によるPKOであった。そのため、民社党・公明党の同意を取り付けるとたちまち別組織案を反故にした（特に民社党は、公明党を味方につけるため別組織案に合意したのであり、本心は自民党と同じであった）。このため、社会党はPKO法案そのものに反対な強硬派が主導権を握ったのである。
一方、民社党・公明党は自民党と共に内閣信任決議を可決させるなど、実質的に与党となっていた。社会党は全衆議院議員の辞職まで打ちだしたが、最終的には抵抗を諦め、PKO法案反対派・賛成派の双方に悪印象を残した。その直後、7月26日投開票の第16回参議院議員通常選挙は自民党の勝利に終わり、社会党・連合は大敗した。社会党執行部は、改選議席を確保できたことのみに着目してまずまずの結果と強弁し敗北を認めなかったが、結局、田邊執行部は退陣し、書記長の山花貞夫が後任の委員長となった。また、党議員団が自衛隊の現地宿営地を訪問・視察した際、礼儀を失した行動を取ったため、少なからず批判を受けた。
1993年第40回総選挙で70議席と大敗。また、連合は傘下の有力組合が推薦で護憲派・左派を排除する「選別推薦」を行い、新党候補などに票を回した（なお、後に民主党の都議会議員となった真木茂は、選別の第一次案を自分が作ったと書いている[1]）。