植民地時代、現在のソーホー周辺はオランダ西インド会社の奴隷から解放された黒人たちに与えられた農地であり、マンハッタン島で解放された奴隷たちの初めての定住地であった[9]。1660年代、この土地はAugustine Hermannが取得し、彼の義理の兄弟であるNicholas Bayardに与えた[9]。この土地はBayardがライスラーの反乱に参加したことで州に没収されたが、その判決は撤回され彼に返還された[10]。

18世紀になっても、このあたりは小川が流れる丘であったという環境から、市街地の開発はBayardの土地まで及んでこず、依然としてマンハッタン島南部の市街地から見て郊外のままであった[10]。アメリカ独立戦争中には、このあたりには数々の要塞、方形堡や胸壁が作られた[10]。戦争に巻き込まれ金銭的に苦しくなったBayardは、戦後この土地を抵当に入れた。この土地はより小さい区画に分割されたが、市街開発はあまり進まなかった。ブロードウェイとキャナル・ストリートの付近だけは、いくらか製造業が興った[10]。

コレクト池（英語版）はかつてはこの島の重要な真水の水源だったが、後に汚染され悪臭を放ち大量の蚊の発生源となった。あたりの土地の所有者の苦情を受けた市議会の決定により、この池の水をハドソン川へ排水するため、用水路（キャナル）が建設された。この池と用水路は、後にBayardの住んでいた丘の土を使って埋め立てられた[10]。この埋め立ては1811年に完了した。ブロードウェイが舗装され、歩道が建設されると、ブロードウェイ沿いとキャナル・ストリート沿いには多くの家が建てられ、中流階級の宅地開発がなされた。ジェイムズ・フェニモア・クーパーなどは早くからそのあたりに住んでいた[10]。

19世紀半ばには、宅地開発初期に建てられた連邦様式（英語版）やグリーク・リヴァイヴァル様式（英語版）の住宅に変わって、より頑丈で装飾的なキャスト・アイアン建築（英語版）（cast-iron、鋳鉄建築[11]）が立ち並ぶようになった。ブロードウェイ沿いには大理石で覆われた大型の商業施設が並んだ[12]。さらに、劇場が多く開かれ、ブロードウェイのキャナル・ストリートからハウストン・ストリートの間の区間は、ショッピング街と劇場街となりニューヨーク市のエンターテイメントの中心となった[12]。それに伴い、多くの売春宿もできることとなった[13][12]。

このように、現在のソーホー地区は19世紀に農地が市街地化して劇場街・商業街・娼館街として栄えた。しかしニューヨーク市の拡大と市の中心の北遷に伴い、この地区は衰退し、変わって繊維・衣服工場や倉庫などが入居して低賃金で移民労働者をこき使うようになった（スウェットショップ）。第二次世界大戦後は、繊維工場のアメリカ南部などへの移転などで空き家が目立つようになり、1950年代半ばを境に地区は衰退してゆく。付近では取り壊されてガソリンスタンドや駐車場となる物件が増え始めた[14]。1960年代には倉庫や低賃金の零細工場などが入居するだけの、夜は無人となる荒廃した地区となり、「ヘルズ・ハンドレッド・エーカー」（Hell's Hundred Acres）と呼ばれ恐れられるようになった[14]。