戦前の非共産党系の合法社会主義勢力が一同団結して結成された。前身の政党は主に、左派の労働農民党、中間派の日本労農党、右派の社会大衆党で、右派・中間派は民主社会主義的な社会民主主義観を、左派は修正マルクス主義的な社会民主主義観をもっていた。日本労農党には戦中、社会主義の実現を国家主義に求めて軍部に積極的に協力した議員が多かった。また社会大衆党も、戦時中反軍を貫いた議員が多かった一方で、その内実は極めてタカ派的なものだった。
結党当初、党名は「日本社会党」か「社会民主党」かで議論となり、日本語名を「日本社会党」、英語名称をSocial Democratic Party of Japanとすることで決着した。
後に左派が主導権を握るにつれ次第にJapan Socialist Party(JSP 訳：日本社会党)の英語名称が使われるようになった。その後再び右派の発言力が強くなり社会民主主義が党の路線となると、SDPJの英称を再確認するようになった。
労働農民党系、日本労農党系、社会大衆党系の3派の対立を戦前から引きずって、たびたび派閥対立を起こした。なお、日本労農党系は戦争に協力したとして、指導者の多くが公職追放され、結党当初は影響力を持つことが出来なかった。徳川義親侯爵など名望家を担ぐ思惑から、当初は委員長は空席とされ、初代の書記長に片山哲が就任した。（後に委員長に就任）
新憲法下最初の総選挙である1947年総選挙で比較第一党となり、その結果民主党・国民協同党との三党連立内閣である片山内閣が成立したが、平野力三農相の公職追放を巡って右派の一部が社会革新党を結成して脱党したり、党内左派が公然と内閣の施政方針を批判したり党内対立はやまず、このため翌1948年に片山内閣は瓦解した。
西尾末広内閣官房長官は左派の入閣を認めず、左派は事実上の党内野党となっていた。それに続く芦田内閣でも社会党は与党となり、左派の一部も入閣したが、最左派の黒田寿男ら6人が予算案に反対して除名されるなど、最右派と最左派を切り捨てる結果になった。昭電事件で芦田や西尾副総理が逮捕されると下野に追い込まれた。12月3日、除名された黒田らは労働者農民党を結成。1949年1月の総選挙では、48名に激減して委員長の片山も落選した。
総選挙敗北後の第4回大会で、国民政党か階級政党かをめぐって森戸辰男と稲村順三との間でおこなわれた森戸・稲村論争は、その後の左右対立の原型となった。なおこの時には、社会党の性格は「階級的大衆政党」と定義されて、決着した。 日本社会党中央執行委員会中央執行委員長、 執行部書記長、 政策審議会長、 国会対策委員長、 片山 哲 加藤 勘十 片山 哲 西尾 末広 森戸 辰男 浅沼稲次郎 〃 浅沼稲次郎 鈴木茂三郎 八百板 正 〃 鈴木茂三郎 〃 〃 鈴木茂三郎 浅沼稲次郎 水谷長三郎 三宅 正一
その後、左右両派の対立が深刻化し、1950年1月16日には一旦分裂する。この時には75日後の4月3日の党大会にて統一し、対立は収まったに見えたが、サンフランシスコ講和条約への賛否を巡って再び左右両派が対立して1951年10月24日再分裂する。左右両派が対立するなか、1950年に日本労働組合総評議会（総評）が結成される（武藤武雄議長・島上善五郎事務局長）。総評は労働組合から日本共産党の影響を排除しようとするGHQの肝いりで結成された。
しかし、国内で再軍備論争が過熱するようになると、総評内では再軍備反対派が台頭し、第二回大会では平和四原則が決定された。第二代事務局長の高野実も反米・反政府の姿勢を強めた。1951年には山川均・大内兵衛・向坂逸郎など戦前の労農派マルクス主義の活動家が中心となって社会主義協会が結成されるなど、その後社会党を支える組織的・理論的背景がこの頃に形成されていった。この西欧社会民主主義と異なる日本社会党の性格を、日本型社会民主主義と呼ぶ見解もある。
1951年、分裂直前に委員長に就任した鈴木茂三郎は「青年よ銃をとるな」と委員長就任演説で訴え、非武装中立論を唱えた。この考え方は厭戦感情の強かった当時の若者などにアピールして、分裂以後も非武装中立論を唱えた左派社会党は党勢を伸ばした。左派社会党躍進の背景には、総評の支援もあった。一方、右派社会党は再軍備に積極的な西尾末広と消極的な河上丈太郎の対立もあって、再軍備に対して明確な姿勢を打ち出すことが出来ず、さらに労組の支援も十分にうけられなかったために伸び悩んだ。こうして、左派優位の体制が確立した。この間、1952年には、社会革新党の後身である協同党が右派に合流している。 右派・日本社会党中央執行委員会中央執行委員長、 執行部書記長、 政策審議会長、 国会対策委員長、 浅沼稲次郎 水谷長三郎 安井 吉典 河上丈太郎 〃 〃 三宅 正一
左派社会党は1954年に、向坂逸郎らが作成に関与し社会主義革命を明記した綱領（左社綱領）を決定した。作成の過程で清水慎三から民族独立闘争を重視した「清水私案」が提出されたが、綱領委員会で討議の結果否決された。左社綱領は、労農派マルクス主義の主張が体系的に述べられたものであったが、左右社会党が再統一を果たすと、折衷的な内容の綱領(統一社会党綱領)がつくられた。