トルーマンは広島への原爆投下について1958年のCBSのインタビューで「まったく心が痛まなかった」と語り、公式的な場でも原爆投下を正当化し続けていた。だが、トルーマンは原爆投下直後に深い後悔の念を抱いていたこと、トルーマン自身が一般市民を犠牲にする行為に反対していたこと、トルーマン政権と軍の間に知られざる攻防があったことが近年明らかになった[46]。

原爆による最大の破壊効果を得るために選ばれたのは東京湾から佐世保までの17か所であったが、その中でも広島と京都が有力候補に上がっており、「マンハッタン計画」で原爆計画の責任者を務めていたレスリー・グローブス准将は京都を推した。グローブスは「京都は外せなかった。最初の原爆は破壊効果が隅々まで行き渡る都市に落としたかった」と述べていた。しかし、陸軍長官のヘンリー・スティムソンはかつて京都を2度訪問し、文化的・宗教的重要性から日本人の対米感を決定的に悪化させ、戦後政策に重大な影響を及ぼすことを認識していたためこの案を却下した。一方、グローブスの同意する目標選定委員会の報告書では、京都が百万の人口を持つ工業都市であること、付近の諸都市が破壊されるにつれて多数の避難民と罹災工業が流れ込みつつあること、サイズ的にも原爆の威力を知るに格好であることを指摘していた[47]。グローブスは、反対するスティムソンにはまず京都が人口百万人の大都市であること、それほどの都市であれば大工場はなくとも巨大な戦時作業に従事していると考えるべきだと主張したとする[47]。しかし、京都への投下は国益を損なうと考えていたスティムソンはグローブスの提案を認めようとはしなかった。グローブスは、スティムソンが訪問したことのある京都の古代文化に心を打たれたためと考えている[47]。

1945年7月16日、ニューメキシコ州で世界初の原爆実験が成功した。一方で日本では既に多くの都市が空襲で焼け野原となり降伏は間近と見られ、グローブスは戦争が終わる前に原爆を使わなければならないと考えた。原爆実験から5日後、スティムソンに部下から緊急の電報が届き、軍は京都への原爆投下をまだ諦めていなかった。スティムソンはトルーマンに報告し京都を外すよう求め、トルーマン自身は7月25日の日記に「この兵器は今から8月10日の間に日本に対して使う予定になっている。私は陸軍省長官のスティムソン氏に、使用に際しては軍事目標物、兵隊や水兵などを目標とし、女性や子供を目標としないようにと言っておいた。いかに日本が野蛮、冷酷、無慈悲かつ狂信的とはいえ、世界の人々の幸福を推進するリーダーたる我々が、この恐るべき爆弾を日本の古都や新都に対して落とすわけにはいかないのだ。この点で私とスティムソンは完全に一致している。目標は純粋に軍事物に限られる。」と記していた。

しかし、トルーマンの元に軍から届いた新たな投下目標を記した報告書の最初に挙げられていたのは広島で、目標選定を行っていたグローブスたちが意図的に騙すために報告書には「広島は日本有数の港と軍事物資の供給基地など軍の大規模施設が集まる陸軍都市である」と述べられていた。トルーマンは広島に原爆を投下しても一般市民の犠牲はほとんどないと思い込んでしまい、[要出典]結局、トルーマンが投下目標から広島・小倉・新潟と新たに加わった長崎を外すことはなかった。

1945年7月25日、「最初の原爆を広島・小倉・新潟・長崎のうちの1つに投下せよ。2発目以降は準備が出来次第投下せよ」とグローブスが起草した原爆投下指令書が発令された。1945年8月6日深夜1時45分に部隊はテニアン島を離陸した。そして午前8時15分（日本時間）に広島に原爆が投下された。ポツダム会談の帰り道にトルーマンは大西洋の船上と船中で演説を開始し、「先ほどアメリカ軍は日本の軍事拠点ヒロシマに1発の爆弾を投下した。原子爆弾がこの戦争を引き起こした敵の上に解き放たれたのだ」とあくまでも軍事目標に落としたと強調した。一方ワシントンで報告を受けたグローブスは、原爆を開発した科学者に電話し、「君たちを誇りに思う」と労った。

8月8日にトルーマンがワシントンに戻った直後、スティムソンはトルーマンの元を訪ねた。そして広島の被害を捉えた写真を見せ、トルーマンは「こんな破壊行為をしてしまった責任は大統領の私にある。」と述べている。しかし、動き始めた軍の作戦は止まることなく暴走し、アメリカ時間の同日（日本時間では翌日）には長崎に原爆が投下された。トルーマンは友人である民主党のリチャード・ラッセル上院議員に送った手紙に、「個人的には一国の指導者の“強情”のために集団を全滅させる必要性があるのか、明らかに後悔している」と心境を吐露していた。また、「1つ言っておくが、私は原爆が全体に必要で無い限り使用しない」と日本を降伏させるためにやむを得ない措置であることを強調した。さらに「ソ連が戦争に介入すれば、日本は非常に短期間で降伏するだろう」とも記していた。トルーマンは「私の目的は、できるだけ多くの米国人の命を救うこと」とする一方、日本に対しては「日本の男性と子供たちには人間として同情を感じている」「私は日本が非常に残酷で野蛮な戦争国家だと知っている。だが、我々も彼らと同じように行動しなければならないとは思わない」と複雑な心境を抱いていることを明かしている。書簡を送られたラッセル議員は原爆投下2日前の8月7日にトルーマンに、「もし我々が、（日本を無条件降伏させるのに）十分な数の原爆を保有していないなら、原爆が出来上がるまで、TNT爆弾でも焼夷弾で攻撃を続ける必要がある」などと、日本への徹底的な攻撃を促す電報を送っていた[48]。

8月10日にトルーマンは全閣僚を集め、これ以上の原爆投下を中止する決断を伝え、この場で「新たに10万人、特に子どもたちを殺すのは考えただけでも恐ろしい」と発言し、「大統領の許可無しに今後の使用は停止される」と決定した[49]。

トルーマンはその事実を覆い隠そうとし、長崎への原爆投下の24時間後に国民に向けたラジオ演説で「戦争を早く終わらせ多くのアメリカ兵の命を救うため原爆投下を決断した」と用意されていた原稿には無かった文言が加えられた。研究者はこの言葉が、市民の上に投下した責任を追及されないよう後付けで考えられたものだと指摘する。[要出典]スティーブンス工科大学アレックス・ウェラースタイン准教授は「トルーマンは軍の最高司令官として投下の責任を感じていました。例え非道な行為でも投下する理由があったというのは大統領にとって都合の良い理屈でした。この時命を救うために原爆を使ったという物語が生まれました。世論を操作するため演出されたのです」と述べている。

スティムソンは原爆投下に対する批判を抑えるために、「原爆投下によって戦争を早く終わらせ、100万人のアメリカ兵の生命が救われた」と表明した（1947年2月）[50]。

トルーマンの孫のクリフトン・トルーマン・ダニエルは韓国聯合ニュースのインタビューに対し、「祖父のトルーマン大統領は広島と長崎の原爆被害の惨状に大きな衝撃を受け、このために朝鮮戦争時に原爆を使用しなかった」と証言している。トルーマンは朝鮮戦争では「原爆使用の可能性を排除しない。」との構えを見せながらも、記者会見では「原爆は恐ろしい兵器であり、（北朝鮮の）侵略に関係のない無実の人びとや女性、子供に対して使用すべきではない。」と述べて、中国に対する原爆使用を主張したマッカーサー国連軍司令官を解任した。1962年にある教授がトルーマンに「大統領として何か悔いることがありますか。」との質問に、「もちろん原爆だ。」と答え、「原爆投下の悪夢にうなされ続けており、大きな失敗を犯したと思っているが、原爆投下の決定を公に取り消すわけにはいかないので、それを抱えて生きるしかない。」と述懐した[51]。

1964年にミズーリ州インデペンデンス市のトルーマン図書館で、トルーマンはアメリカに訪問した被爆者と面会したことがあり、世界平和研究使節団親善大使の松本卓夫と会談した。