なお、ホワイトハウスと、これに隣接するラファイエット公園（Lafayette Park）、ザ・エリプス（The Ellipse）、およびホワイトハウス見学者オフィスは、便宜上、大統領公園（だいとうりょう こうえん）という国立公園に指定されており、その土地と建物は国立公園局が管理している。
歴史コンペで当選したホーバン案（1793年）ホーバンがモデルにしたアイルランドのレンスターハウス
建設と設計

大統領府であるホワイトハウス建設が開始されたのは初代大統領のジョージ・ワシントンのときで、1792年10月13日に礎石が置かれて着工したが、公式の定礎式は挙行されなかった[3]。

1790年にワシントンD.C.（コロンビア特別区）の設置と区画が決定され、フィラデルフィアに代わる新首都建設が始まると、ワシントンは大統領府のデザインをコンペで募集し、9件の最終候補の中からアイルランド出身の建築家であるジェームズ・ホーバンの案を採用した。ホーバンは、現在のアイルランド国民議会が入っているダブリンのレンスター・ハウスをモデルにした[4]。基礎部分は当時の黒人奴隷、石細工は主にスコットランド人が工事を担っていた。着工から8年後の1800年11月に完成したが、初代大統領のワシントンはすでに大統領職を辞していたばかりか前年に亡くなっており、完成した姿を目にする事はなかった。そのため、最初にこの大統領官邸に入居したのは第2代大統領のジョン・アダムズとなったのである。以後も大統領府はここに置かれ、200年以上経った現在でも首都ワシントンと共にアメリカの政治の中枢となっている。

建物は16世紀のイタリアの建築家アンドレーア・パッラーディオのパッラーディオ様式を採り入れており、イタリアのヴィチェンツァ郊外にあるヴィラ（邸宅）「ラ・ロトンダ」（1994年に世界遺産登録）に酷似している。パッラーディオ自身はヴィラ（邸宅）ではなくパラッツォ（宮殿）と分類している。現存する最古の写真（1846年）
戦争による焼失

1814年8月に大統領官邸は1812年戦争のブラーデンスバーグの戦いでの敗北により、イギリス軍による焼き討ちにあい、石積みの外壁を残して全てが灰燼に帰してしまった。第4代大統領ジェームズ・マディソンは設計者のジェームズ・ホーバンを監督に任じ、焼け残った外壁を使って焼失前とほぼ変わらない官邸を再建し、1817年に完成した。この時焼け焦げた外壁を白く塗装したことから官邸は現在のように「ホワイトハウス」と呼ばれるようになった[注釈 4]。現在でも焼けこげた壁の一部は保存されており、トルーマン・バルコニーと北ポルティコ付近でこれを見ることができる。

焼き討ちから約200年経過した2018年、アメリカがカナダに対して国家安全保障を理由とした関税措置を発表して対立し、両首脳間で電話会談が行われた。ジャスティン・トルドー首相は国家安全保障を理由にすることはできないと説いたのに対して、ドナルド・トランプ大統領は過去にカナダ（実際はイギリス軍）はホワイトハウスを焼き討ちしたとして反論している[5]。トルーマン時代の大改修工事（1950年）
現在の形へ

1902年には第26代大統領セオドア・ルーズベルトがウエストウイングを増築し、それまで2階部分に入っていたスタッフのオフィスをここに移した。そして空いた2階を居住空間に全面改装した他、1階部分にも若干の改修が施された。これを機にホワイトハウスは公式に「ワシントン・ホワイトハウス」 (White House ? Washington) と命名された。

1942年には第二次世界大戦中に第32代大統領フランクリン・ルーズベルトが地下に防空壕を備えたイーストウイングを増築した。この防空壕は現在、大統領危機管理センターになっており、2001年の9.11テロ事件の際にも閣僚が避難している。

1948年に第33代トルーマン大統領は、レジデンス2階の「イエローオーバルルーム」の外側にバルコニーを設置しようとした。ところがこの時行われた強度検査で老朽化による構造強度の劣化が判明したため、全面的な解体改修工事が行われることになった。工事は再び石積みの外壁のみを残して内部を基礎部分を含めて全て創り直すという大がかりなもので、5年の月日をかけた一大プロジェクトであった。そのため、ペンシルベニア通りを隔てて北側に位置する大統領の賓客用宿泊施設（迎賓館）ブレアハウス (Blair House) を仮の大統領府として一時的に機能させることになった。それから5年が経った1952年に工事は無事完了、「トルーマン・バルコニー」が新設された。これにより、多くの人が目にしている現在の姿が完成したのである。
エグゼクティヴ・レジデンスの施設南側（裏）から見たレジデンスホワイトハウス周辺
諸元

床面積：約5万5000 ft2 (5100 m2)

部屋数： ⇒132

洗面所：35か所

階数：地上3階地下3階

扉：412枚

窓：147か所

暖炉：28か所

階段：8か所

エレベーター：3基

シェフ：5人

地階地階見取り図

グラウンドフロア（Ground Floor[注釈 5]）
センターホール（Center Hall、地階 1）
中央ホール。レジデンス地階の中心を東西に貫く幅約5m、全長約49mのホールで形状は廊下。天井はアーチ状になっている。ホールの東端はイーストウイングの来訪者ロビーに通じ、西端にはウエストウィング柱廊の一部を成すパームルーム (Palm Room) につながる。
ディプロマティック レセプションルーム（Diplomatic Reception Room、地階 2）
外交官応接室。南庭からの入り口で、信任状捧呈式に臨む各国大使の到着口として使用される。フランクリン・ルーズベルト大統領は、この部屋の暖炉の前から「炉辺雑談 (Fireside chats)」と呼ばれる定期的なラジオ談話を行った。
マップルーム（Map Room、地階 3）
第28代大統領ウィルソンや第30代大統領クーリッジの頃は、ビリヤード台が置かれた娯楽室だったが、第二次世界大戦中、フランクリン・ルーズベルト大統領はこれを戦況報告室として使用し、各戦線の状況を表示させる地図を掲示させていたことからマップルームと呼ばれるようになった。現在は大統領やファーストレディの個人的なミーティングに使用されている。
チャイナルーム（China Room、地階 4）
ここでのチャイナとは中国では無く、磁器の食器のことで、外国元首とのディナーに使われる高級磁器の食器を保管しているホワイトハウスの食器室である。ウィルソン大統領のイーディス夫人が歴代大統領の磁器食器のコレクションを展示したことからチャイナルームと呼ばれるようになった。