このように、現在のソーホー地区は19世紀に農地が市街地化して劇場街・商業街・娼館街として栄えた。しかしニューヨーク市の拡大と市の中心の北遷に伴い、この地区は衰退し、変わって繊維・衣服工場や倉庫などが入居して低賃金で移民労働者をこき使うようになった（スウェットショップ）。第二次世界大戦後は、繊維工場のアメリカ南部などへの移転などで空き家が目立つようになり、1950年代半ばを境に地区は衰退してゆく。付近では取り壊されてガソリンスタンドや駐車場となる物件が増え始めた[14]。1960年代には倉庫や低賃金の零細工場などが入居するだけの、夜は無人となる荒廃した地区となり、「ヘルズ・ハンドレッド・エーカー」（Hell's Hundred Acres）と呼ばれ恐れられるようになった[14]。

この地区は芸術家の町として1960年代から1970年代に掛けて注目されるようになった。当時は19世紀半ばに建てられたキャストアイアン建築が多く空いており、賃料が非常に安かった。上層階にあるロフトは天井も高く窓も大きく、明るい部屋で大きな作品の制作ができるため、次第にお金のない芸術家やデザイナーたちのロフトやアトリエに転換されていった。こうして、20世紀半ばに高級化した、かつては芸術家の天国と呼ばれていたグリニッジ・ヴィレッジあたりから多くの芸術家がこの地区に流入してくることとなった。

ロフトは本来工場であり居住目的には使用できず、ソーホーはゾーニング条例上は工業用地であり住居地区でもないため、彼らの居住は不法居住であった。ニューヨーク市は居住用建物の基準に合わないロフトを不法占拠している芸術家を排除して、ソーホーをもとの工業地に戻そうとしたが、ソーホーに住む芸術家が結成した組合や運動団体の抵抗を受け、結局1971年にはこの地区は工業地区から「芸術家のための居住兼就労地区（Joint Live-Work Quarters for Artists, JLWQA）」へと変更され、ニューヨーク市文化局などの公認を受けた芸術家に対して、ロフトでの居住と制作活動を認めるようになった。

ソーホーには、芸術家の集うレストランやギャラリー、ライブハウスができ、多くの歴史に残る個展や朗読会などが開かれていた。アップタウンからも多くの高級ギャラリーが芸術家の集積する雰囲気を求めて移転してくるようになり、1970年代半ばには画廊街として認識されるようになった。1980年代以降、カウンターカルチャーの聖地であったソーホーにあこがれた富裕なヤッピーたちが住むようになったほか観光客も集まるようになり、のどかな雰囲気は急速に失われていく。

ヤッピーや観光客相手の超高級レストランや高級ブランドの路面店が進出してくると、街はにぎやかになる一方喧騒がひどくなり、落ち着いて仕事や美術鑑賞のできる雰囲気ではなくなり、さらに致命的なことに地価が急騰した。やがて芸術家たちもギャラリーも、古くからの貧しい住民たちも家賃が払えなくなり、もっと賃料の安い地区に追い出されてしまった。ギャラリー街は主にチェルシー地区へ移転した。芸術家やデザイナーらはその他ロウワー・イースト・サイド地区・トライベッカ地区、ノーホー地区、ノリータ地区、ハーレム地区へ移り、さらにそれらの地区も高級化してしまい、現在はマンハッタンをも出てブルックリン（ウィリアムズバーグなど）にまで移りつつある。

21世紀の今日、世間に広まったイメージに反してソーホーには芸術家はほとんど住んでおらず、金持ち相手のギャラリーやブティック、高いレストラン、若い高給ビジネスマンの住まいが中心の地区となった。
ジェントリフィケーション

ニューヨークではここ何十年かでおなじみになってしまったことだが、地価の安い荒廃した地区に若者が集まった後でそこが有名になり、地価が上がり、住民が追い出されて、最後には進出してきた高級店や高級アパートしか残らないといったジェントリフィケーション（高級化現象）が玉突き状に起こっている。