コレクト池（英語版）はかつてはこの島の重要な真水の水源だったが、後に汚染され悪臭を放ち大量の蚊の発生源となった。あたりの土地の所有者の苦情を受けた市議会の決定により、この池の水をハドソン川へ排水するため、用水路（キャナル）が建設された。この池と用水路は、後にBayardの住んでいた丘の土を使って埋め立てられた[10]。この埋め立ては1811年に完了した。ブロードウェイが舗装され、歩道が建設されると、ブロードウェイ沿いとキャナル・ストリート沿いには多くの家が建てられ、中流階級の宅地開発がなされた。ジェイムズ・フェニモア・クーパーなどは早くからそのあたりに住んでいた[10]。

19世紀半ばには、宅地開発初期に建てられた連邦様式（英語版）やグリーク・リヴァイヴァル様式（英語版）の住宅に変わって、より頑丈で装飾的なキャスト・アイアン建築（英語版）（cast-iron、鋳鉄建築[11]）が立ち並ぶようになった。ブロードウェイ沿いには大理石で覆われた大型の商業施設が並んだ[12]。さらに、劇場が多く開かれ、ブロードウェイのキャナル・ストリートからハウストン・ストリートの間の区間は、ショッピング街と劇場街となりニューヨーク市のエンターテイメントの中心となった[12]。それに伴い、多くの売春宿もできることとなった[13][12]。

このように、現在のソーホー地区は19世紀に農地が市街地化して劇場街・商業街・娼館街として栄えた。しかしニューヨーク市の拡大と市の中心の北遷に伴い、この地区は衰退し、変わって繊維・衣服工場や倉庫などが入居して低賃金で移民労働者をこき使うようになった（スウェットショップ）。第二次世界大戦後は、繊維工場のアメリカ南部などへの移転などで空き家が目立つようになり、1950年代半ばを境に地区は衰退してゆく。付近では取り壊されてガソリンスタンドや駐車場となる物件が増え始めた[14]。1960年代には倉庫や低賃金の零細工場などが入居するだけの、夜は無人となる荒廃した地区となり、「ヘルズ・ハンドレッド・エーカー」（Hell's Hundred Acres）と呼ばれ恐れられるようになった[14]。

この地区は芸術家の町として1960年代から1970年代に掛けて注目されるようになった。当時は19世紀半ばに建てられたキャストアイアン建築が多く空いており、賃料が非常に安かった。上層階にあるロフトは天井も高く窓も大きく、明るい部屋で大きな作品の制作ができるため、次第にお金のない芸術家やデザイナーたちのロフトやアトリエに転換されていった。こうして、20世紀半ばに高級化した、かつては芸術家の天国と呼ばれていたグリニッジ・ヴィレッジあたりから多くの芸術家がこの地区に流入してくることとなった。

ロフトは本来工場であり居住目的には使用できず、ソーホーはゾーニング条例上は工業用地であり住居地区でもないため、彼らの居住は不法居住であった。ニューヨーク市は居住用建物の基準に合わないロフトを不法占拠している芸術家を排除して、ソーホーをもとの工業地に戻そうとしたが、ソーホーに住む芸術家が結成した組合や運動団体の抵抗を受け、結局1971年にはこの地区は工業地区から「芸術家のための居住兼就労地区（Joint Live-Work Quarters for Artists, JLWQA）」へと変更され、ニューヨーク市文化局などの公認を受けた芸術家に対して、ロフトでの居住と制作活動を認めるようになった。

ソーホーには、芸術家の集うレストランやギャラリー、ライブハウスができ、多くの歴史に残る個展や朗読会などが開かれていた。アップタウンからも多くの高級ギャラリーが芸術家の集積する雰囲気を求めて移転してくるようになり、1970年代半ばには画廊街として認識されるようになった。1980年代以降、カウンターカルチャーの聖地であったソーホーにあこがれた富裕なヤッピーたちが住むようになったほか観光客も集まるようになり、のどかな雰囲気は急速に失われていく。