建物は16世紀のイタリアの建築家アンドレーア・パッラーディオのパッラーディオ様式を採り入れており、イタリアのヴィチェンツァ郊外にあるヴィラ（邸宅）「ラ・ロトンダ」（1994年に世界遺産登録）に酷似している。パッラーディオ自身はヴィラ（邸宅）ではなくパラッツォ（宮殿）と分類している。現存する最古の写真（1846年）
戦争による焼失

1814年8月に大統領官邸は1812年戦争のブラーデンスバーグの戦いでの敗北により、イギリス軍による焼き討ちにあい、石積みの外壁を残して全てが灰燼に帰してしまった。第4代大統領ジェームズ・マディソンは設計者のジェームズ・ホーバンを監督に任じ、焼け残った外壁を使って焼失前とほぼ変わらない官邸を再建し、1817年に完成した。この時焼け焦げた外壁を白く塗装したことから官邸は現在のように「ホワイトハウス」と呼ばれるようになった[注釈 4]。現在でも焼けこげた壁の一部は保存されており、トルーマン・バルコニーと北ポルティコ付近でこれを見ることができる。

焼き討ちから約200年経過した2018年、アメリカがカナダに対して国家安全保障を理由とした関税措置を発表して対立し、両首脳間で電話会談が行われた。ジャスティン・トルドー首相は国家安全保障を理由にすることはできないと説いたのに対して、ドナルド・トランプ大統領は過去にカナダ（実際はイギリス軍）はホワイトハウスを焼き討ちしたとして反論している[5]。トルーマン時代の大改修工事（1950年）
現在の形へ

1902年には第26代大統領セオドア・ルーズベルトがウエストウイングを増築し、それまで2階部分に入っていたスタッフのオフィスをここに移した。そして空いた2階を居住空間に全面改装した他、1階部分にも若干の改修が施された。これを機にホワイトハウスは公式に「ワシントン・ホワイトハウス」 (White House ? Washington) と命名された。

1942年には第二次世界大戦中に第32代大統領フランクリン・ルーズベルトが地下に防空壕を備えたイーストウイングを増築した。この防空壕は現在、大統領危機管理センターになっており、2001年の9.11テロ事件の際にも閣僚が避難している。

1948年に第33代トルーマン大統領は、レジデンス2階の「イエローオーバルルーム」の外側にバルコニーを設置しようとした。ところがこの時行われた強度検査で老朽化による構造強度の劣化が判明したため、全面的な解体改修工事が行われることになった。工事は再び石積みの外壁のみを残して内部を基礎部分を含めて全て創り直すという大がかりなもので、5年の月日をかけた一大プロジェクトであった。そのため、ペンシルベニア通りを隔てて北側に位置する大統領の賓客用宿泊施設（迎賓館）ブレアハウス (Blair House) を仮の大統領府として一時的に機能させることになった。それから5年が経った1952年に工事は無事完了、「トルーマン・バルコニー」が新設された。これにより、多くの人が目にしている現在の姿が完成したのである。
エグゼクティヴ・レジデンスの施設南側（裏）から見たレジデンスホワイトハウス周辺
諸元

床面積：約5万5000 ft2 (5100 m2)

部屋数： ⇒132

洗面所：35か所

階数：地上3階地下3階

扉：412枚

窓：147か所

暖炉：28か所

階段：8か所

エレベーター：3基

シェフ：5人

地階地階見取り図

グラウンドフロア（Ground Floor[注釈 5]）
センターホール（Center Hall、地階 1）
中央ホール。レジデンス地階の中心を東西に貫く幅約5m、全長約49mのホールで形状は廊下。天井はアーチ状になっている。ホールの東端はイーストウイングの来訪者ロビーに通じ、西端にはウエストウィング柱廊の一部を成すパームルーム (Palm Room) につながる。
ディプロマティック レセプションルーム（Diplomatic Reception Room、地階 2）
外交官応接室。南庭からの入り口で、信任状捧呈式に臨む各国大使の到着口として使用される。フランクリン・ルーズベルト大統領は、この部屋の暖炉の前から「炉辺雑談 (Fireside chats)」と呼ばれる定期的なラジオ談話を行った。
マップルーム（Map Room、地階 3）
第28代大統領ウィルソンや第30代大統領クーリッジの頃は、ビリヤード台が置かれた娯楽室だったが、第二次世界大戦中、フランクリン・ルーズベルト大統領はこれを戦況報告室として使用し、各戦線の状況を表示させる地図を掲示させていたことからマップルームと呼ばれるようになった。現在は大統領やファーストレディの個人的なミーティングに使用されている。
チャイナルーム（China Room、地階 4）
ここでのチャイナとは中国では無く、磁器の食器のことで、外国元首とのディナーに使われる高級磁器の食器を保管しているホワイトハウスの食器室である。ウィルソン大統領のイーディス夫人が歴代大統領の磁器食器のコレクションを展示したことからチャイナルームと呼ばれるようになった。全体に赤い色調が特徴的なこの部屋には、歴代大統領時代の磁器が年代順に展示されている。
バーメイルルーム（Vermeil Room、地階 5）
1956年にマーガレット・トンプソン・ビドル夫人が残したバーメイル（英語版）（金めっきした銀）のコレクションを展示したことからこう呼ばれるようになった。また黄色を基調とした装飾から「ゴールデンルーム (The Gold Room)』と呼ばれることもある。エレノア・ルーズベルト、ジャクリーン・ケネディ、レディーバード・ジョンソン、パトリシア・ニクソン、ナンシー・レーガンの各ファーストレディの肖像画が展示されている。現在は式典などで女性の控え室として使用されている。
キッチン（Kitchen、地階 6）
厨房。大統領と家族の食事の他、ホワイトハウス公式晩餐会の料理も調理しており、常勤料理人5名（うちパティシエ1名）と約20名のパートタイムのスタッフが働いている。軽食からフルコースのディナーまで作り、ディナー140人分、オードブルなら1000名分以上を提供することができる。
ホワイトハウス キューレーターズ オフィス（White House Curator’s Office、地階 7）
ホワイトハウス学芸員室。第35代大統領夫人ジャクリーン・ケネディが、1961年ホワイトハウスを歴史博物館とすることを訴えたことで設置された。ホワイトハウス学芸員は、ホワイトハウスが所蔵する1万4000件以上の歴史的価値のある調度品や美術品を管理・修復している。
ライブラリー（Library、地階 8）
書斎。元々洗濯部屋として使われていたこの部屋は、セオドア・ルーズベルト大統領による改修でポーカールームに改装され、さらにフランクリン・ルーズベルトのときに書斎に改装された。1973年3月、主要国首脳会議の起こりとなった「ライブラリー・グループ」4か国（アメリカ合衆国・イギリス・西ドイツ・フランス）の最初の会合がここで持たれた。第39代大統領カーターは、ルーズベルトの「炉辺雑談」にならって、毎週のラジオ談話をこの部屋から行った。
クリニック（Clinic、地階 9）
医務室。大統領とその家族やホワイトハウス職員のための診療所で、医療設備を完備した診察室と検査室からなる。
ドクターズオフィス（Doctor’s Office、地階 10）
常勤医師オフィス。

ディプロマティック
レセプションルーム
地階 2

マップルーム
地階 3

バーメイルルーム
地階 5

ライブラリー
地階 8

1階1階見取り図