1881：舊宅

當1814年英軍縱火燒毀白宮時，老天爺下了一場大雷雨，才使白宮不至於片瓦無存。面對僥倖保留下的殘桓斷壁，國會裡某些人士嚷嚷著乾脆完全夷平算了，然後遷都別處。不過當時民眾對戰爭感觸仍深，是他們的愛國情緒把白宮保留(重建)下來。

到了1864年，住都局長宣佈白宮的屋況已不適合居住。不過當時的房客林肯總統繼續居住在內。

三年之後，相關官員考慮白宮隨時可能傾塌，他們擬出一個計畫，將白宮移往郊區一塊數百英畝的土地上。這將是一座美侖美奐的總統官殿，具私密及安全性，遠離喧囂的華盛頓特區市中心。不過在格蘭特上任之後，他和夫人茱莉亞喜歡住在原來的白宮裏，搬家計畫就此腰斬。

到了1881年，新上任的亞瑟總統則被白宮頹圮待修的情況嚇壞了，他說：「我不會住在像這樣的屋子裡。」亞瑟建議將舊屋拆除，在原址重建一模一樣的新白宮。參議院贊成這個議案，不過眾議院一直反對。

雖然拆除之聲不斷，這座「主權在民的房屋」繼續矗立在原地，至今由然。

註一：無法向國會要到一座新房子，亞瑟總統花費了近10萬美元修繕白宮，還請著名的設計師蒂芬尼設計內部裝璜。因此，約有26輛拖車之多的舊傢俱及用品被整理出來公開拍賣。

註二：於1948年時，白宮又到了頹圮邊緣，二樓的一具鋼琴掉落至一樓的餐廳內。這一次白宮被徹底的開心剖肚，只有外牆依舊維持原樣，保留人們對總統官邸的記憶。

註三：哈里遜總統夫人曾建議白宮增加兩側廂房，如此會大幅改變白宮外觀，但該計畫無疾而終。