ロウアー・マンハッタンは、オランダ人がマンハッタン島で、最初に居住地とした場所である[8]。現在のバッテリー・パークがある場所に、「ニュー・ネーデルランド」を守るため、初めて砦が築かれた。1771年には、ベアー・マーケットが、ハドソン川に沿ったトリニティ教会に寄贈された土地で開かれた。1813年に、これはワシントン・マーケットと替わっている[9]。ワシントン・マーケットは、バークレー・ストリートからヒューバート・ストリート、グリニッジ・ストリートからウェスト・ストリートの間に位置していた[10]。この地域は、現在でも道路を碁盤の目のように配置するグリッド方式となっていない、マンハッタンでは珍しい地域となっている。1900年代の初頭から数十年の間、この地域では、40 ウォール・ストリート、アメリカン・インターナショナル・ビルディング、ウールワース・ビルディング、20 エクスチェンジ・プレイスなどの主なタワーが建てられ、建築ラッシュとなった。

1950年代には、少数の新しい建築物が建ち始めた。ウィリアム・ストリート 156号に位置する11階建てのビルが、1955年に建てられた[11]。ブロード・ストリート 20号には27階建てのオフィスビル、パイン・ストリート 80号には12階建てのビル、ウィリアム・ストリート 123号には26階建てのビルなどが1957年に建設された[11]。その頃、ロウアー・マンハッタンは、ミッドタウンと比べ、寂れてきていた。そのため、デイヴィッド・ロックフェラーは、ワン・チェイス・マンハッタン・プラザ（彼の銀行の新しい本部）からロウアー・マンハッタンの再開発を行った。彼は、再開発計画の中心となるワールド・トレード・センターを含む、ロウアー・マンハッタンの広い範囲を計画するダウンタウン・ロウアー・マンハッタン協会（DLMA）を設立した。DLMAは、ワールド・トレード・センターを、フルトン・ストリートとオールド・スリップの間に、イースト川に沿って建設するよう計画した。後に、ニュージャージー州知事であったリチャード・J・ヒューズとの交渉の末、ニューヨーク・ニュージャージー港湾公社は、イースト川沿いではなく、ハドソン川とウエスト・サイド・ハイウェイに沿ってWTCを建設することを決定した。

こうした歴史があり、それまでロウアー・マンハッタンは商業地で、1960年の人口は約4,000人であった[12]。しかし、WTCの建設での土砂を使い、ハドソン川を埋め立てたバッテリー・パーク・シティが建設された。そして、多くの居住者が住むようになった。1960年代、グリニッジ・ヴィレッジは、古くからの文化が守られてきた地域だった。1970年代から1990年代初頭まで、多くのギャラリーがソーホーにオープンした。今日では、マンハッタン・ダウンタウンのギャラリーは、チェルシーに集中している。1960年代から発展を続けるロウアー・マンハッタンでは、オフ・オフ・ブロードウェイの地域が構成され、非主流派の劇団ができた。パンク・ロックが、1970年代に、イースト・ヴィレッジの西端に位置するバワリーのCBGBで登場した。