1934年、トム・ペンダーガストはトルーマンをミズーリの上院議員として選出するために支援した。選挙戦は激烈で、トルーマンは4万票を得て予備選挙を勝ち抜いた。ミズーリで民主党の予備選挙を勝ち抜くことは本選挙で勝つことよりも困難なことであった。

上院議員に当選したトルーマンはルーズベルト大統領のニューディール政策を支持して活動した。その後1940年には再選に挑んだが、既にペンダーガスト機械は倒産し、その支援無しで選挙を戦わなければならなかった。

再選後の1941年には軍事費の不正使用に関して調査報告を行い、「トルーマン委員会」が設立された。その後の委員会の調査報告で150億ドル近い浪費が押さえられ、第二次世界大戦に突入したアメリカにおいて、トルーマンの知名度は全国的に上昇した。

1944年アメリカ合衆国大統領選挙が近づくと共にトルーマンは副大統領候補としてその名が浮上し、党大会によって指名された。ルーズベルトは戦時指導者として高い評価を受けて先例の無い4選を果たし、それに伴いトルーマンは副大統領に就任した。

しかし重い障害を持ちながら戦争中を通じて世界中を飛び回り、体調が悪い中で戦争終結に向けてヤルタ会談に参加するなど、心身に負担をかけ続けたルーズベルト大統領が1945年4月12日に急死し、トルーマンは大統領に昇格した。副大統領としての任期は僅か82日間であった。トルーマンは就任初日の気持ちを自身の日記に「私の肩にアメリカのトップとしての重荷がのしかかってきた。第一私は戦争の詳細について聞かされていないし、外交にもまだ自信が無い。軍が私をどう見ているのか心配だ。」と記していた。
大統領職
第二次世界大戦副大統領時代のトルーマン。ピアノの上にいる女性は女優のローレン・バコールである。なおトルーマンはピアニストになるのが夢であった（1945年2月10日・ワシントンD.C.のナショナル・プレス・クラブにて）。

大統領に就任してから終戦にかけてのトルーマンは外交政策に没頭した。前述の通りトルーマンは外交経験が全く無い上に、ルーズベルト大統領とは僅か1度しか会っておらず、戦争の進捗・内部の情報は全く聞かされていなかった。この当時ヨーロッパ戦線ではナチス率いるドイツが降伏間近で、アジア・太平洋戦線でも連合国軍が日本を追い詰め、戦争をどう終わらせるか舵取りが求められていた。

トルーマンが大統領に就任した時に知らされたのが、ヤルタ会談での秘密協定と新型爆弾（原子爆弾）の開発状況であった。しかし当時のトルーマンは前述した戦争の進捗整理・外交関係で手一杯であった為、トルーマンは「報告書を見るのは嫌いだ。」と言って新型爆弾の開発には興味を示さなかった。

また、戦後の国際秩序を決めるソビエト連邦など連合国との駆け引きがトルーマンの肩に乗し掛かっていた。1945年7月にはポツダム会談に参加した。7月26日にはアメリカ合衆国・イギリス・中華民国の3カ国による「ポツダム宣言」が発表されたが、3カ国代表のサインはトルーマンによって書き上げられた物であった。それには、日ソ中立条約を締結しているソ連抜きで戦争に勝利したい意図があった。

1945年7月に国務長官となったジェームズ・F・バーンズは、天皇制の護持が受け入れられれば日本には終戦交渉の余地があるとするジョセフ・グルー国務次官ら三人委員会とは正反対の路線であり、三人委員会の提言を独断で黙殺して東ヨーロッパで覇権を強めるソ連を牽制するために、日本に対する原爆攻撃を支持し、原爆の使用を強く大統領に進言した。「一発で都市を吹っ飛ばせる兵器を我々アメリカが所有していることを事前警告すべきである。それでも降伏しなければ原爆を投下すると日本政府に伝えるべきだ」と主張し、無警告の原爆投下に反対を訴えたジョン・マックロイ陸軍次官に対して、「それはアメリカの弱さを示すものだ、原爆投下前に天皇制を保証し降伏を呼びかけるのは反対だ」と述べる[12]。

戦争に勝てないと判断した大日本帝国政府は、7月12日にソ連にいる日本特命全権大使（佐藤尚武）宛てに、ソ連に和平の仲介を依頼する特使を派遣する予定であることを伝えるよう打電した。そのパープル暗号電報は即座に解読され、トルーマンに知らされた。トルーマンは、大日本帝国政府が和平の動きに出たことを知っていたことになる。ポツダム入りしたアメリカ陸海空軍参謀本部は首脳会談の前に合同会議を持ち、「ソ連が参戦する予定であることと、天皇制存続を認めれば、日本の降伏は今日にでもありうる。日本は既に壊滅状態で原爆を使う必要は無く、警告すれば十分」との結論を出した。しかしトルーマンは、その結論を信用しなかった。

バーンズは原爆の力を使えば、ソ連に加勢してもらわなくても本土上陸作戦の前に日本を降伏させることができると考えた。もしそうなれば、戦後の世界でソ連の力を抑えることもできるし、ベストの結果となろう。しかしこのタイミングで日本の降伏条件を緩和した場合、日本が降伏してしまい、原爆投下の機会を逸することをバーンズは恐れた。そこで「降伏条件の緩和で日本の降伏を促進する」という路線については「原爆投下までは棚上げすべし」とトルーマンに説き、大統領を味方につけることに成功した。こうしてトルーマン政権は「降伏条件を緩和することで、日本の降伏を促進すべし」と説くグルーやスティムソン陸軍長官派と、「原爆を投下し、その威力を示すまでは、降伏条件を緩和すべきでない」とするバーンズとトルーマンの派とに分裂することになった。

スティムソンは代表団員から外されていたにもかかわらず、別便のマルセイユ行きの陸軍輸送船に乗り、ポツダムに向かった。ポツダムでトルーマンに再会したスティムソンは、天皇制の存置を保証する一文を復活させるように説得を試みた。しかしトルーマンは頑として応じず、スティムソンに対して「気に入らなければ荷物をまとめて帰ったらいい」とまで言い放ったという[13]。

トルーマンは7月17日にソ連のヨシフ・スターリン書記長と事前の打ち合わせをした際、スターリンからソ連が（ヤルタ会談での密約通り）8月15日に対日宣戦布告すると聞かされた[注釈 2]。その日トルーマンが妻に書いた手紙では、「戦争はこれで一年以内に終わるであろう」と安堵の気持ちを述べていた。しかし、トルーマンは7月16日のトリニティ実験の詳細結果を聞いたときに態度を一変し、ソ連に対して強硬路線を取るようになった。

トリニティ実験から8日後にスティムソンがトルーマンの元を訪ね、京都を原子爆弾投下の目標から外すように言ってきた。原爆投下の目標委員会やマンハッタン計画の責任者であるレスリー・グローブスらが、京都を目標の一つとして選定したことを憂慮したものである。スティムソンは、かつて京都を2度訪れたことがあり、京都を破壊すれば文化的・宗教的重要性から日本人の恨みを買い戦後政策に影響を及ぼしかねないことを案じたためである。トルーマンの7月25日の日記には「原爆の投下場所は軍事基地のみに限る」と書いてあった。歴史家のアレックス・ウェラースタインは、トルーマンが、スチムソンとの話を通じて京都と広島の差異を勝手に拡大解釈し、広島に多くの一般市民はいないと思い込んでしまった可能性があることを、唱えている[15]。スティムソンとの協議の結果、京都は外されたが、他の小倉・広島・新潟が外されることはなかった。

戦後、原爆被害の重大さが知られるにつれ、当時の陸軍長官であったスチムソンは原爆投下理由の説明を迫られ、ようやく1947年になって、これを日本の抵抗が長引けばさらに百万人の米兵の生命が失われるとの報告を受けたためとした[16]。トルーマンもこの説明を踏襲した[17]。こうしてトルーマン自身は生涯原爆投下を正当化した。ウェラースタインのような実証主義的な歴史家の間ではもう単純な見方はされていない[18]とされるが、アメリカ一般ではこの説明が一般化し、未だに「戦争を早期終結に導きアメリカ将兵の命を救った大統領」という評価が根強い。

陸軍の完全な機密保持下に行われた原爆開発は戦後見直しを図られ、トルーマンは1945年10月に議会に対し、原子力に関する教書を送った。それは原子力開発に関する管理体制についての物であった。翌年の8月には原子力法案が成立し、原子力委員会（AEC, United States Atomic Energy Commission）が作られた。1953年1月7日にトルーマンは水素爆弾の開発を発表した。
対ソ・対中政策

日本の領土を少しでも多く略奪することを画策していたスターリンは南樺太や千島列島に加えて、北海道北部（留萌市から釧路市を結ぶ線から北東側全域。留萌市・釧路市については分割せずソ連が占領する。）をも併合しようとする案をトルーマンに申し入れていたものの、トルーマンはこの提案を拒否した。

第二次世界大戦後、スターリン率いるソ連が東ヨーロッパを中心に勢力を拡大しているということに気付いたトルーマンは、ソ連に対して強硬路線を取ることを明確にした。また、ウッドロウ・ウィルソンとルーズベルト前大統領の意を継いで国際連合の設立を強く支援し、前ファーストレディのエレノア・ルーズベルトを含む代表団を最初の国際連合総会に派遣した。彼の外交知識を疑う者もいたが、マーシャル・プランに対する広い支援の獲得と、トルーマン・ドクトリンによってNATOを設立してヨーロッパにおけるソ連の軍事力を牽制し、外交面での成果を上げた[9]。