一方、短期間に多くの移民が殺到したことから、1850年代には財産や自由、人倫を保護する名目で自警団がたびたび組織された。1856年5月には連邦政府の警察権や司法権を超越した数千人規模の自警団が作られ、約3か月の間事実上の軍政状態となった[41]。1850年協定によってカリフォルニアは州の資格を得、アメリカ軍はサンフランシスコ湾を防衛するためゴールデンゲート海峡の砦フォート・ポイントと、アルカトラズ島の砦を築いた。1859年のカムストック鉱脈をはじめとする銀の発見も、急速な人口増大を更に後押しした[42]。鉱山の一旗組の中には無法者も多く、バーバリコースト地区は、犯罪、売春、ギャンブルの巣窟として悪名をとった[43]。

ゴールドラッシュで成功した多くの企業家が、その財を元手に事業を展開した。1852年にはウェルズ・ファーゴが設立され、1864年にはカリフォルニア銀行が設立された。
交易都市として発展

サンフランシスコ港の発展により、街は交易の中心地となった。リーヴァイ・ストラウスは衣類の事業を、ドミンゴ・ギラーデリーはチョコレート製造業を始めた。様々な移民労働者の存在により、街には多様な文化が入り交じり、例えば中国人の鉄道労働者によってチャイナタウンが生まれた。1873年にケーブルカーが敷かれ、クレイ・ストリートの急な坂を上るようになった。ビクトリア様式の家々が立ち並ぶようになり、広い公園の必要が叫ばれるようになって、ゴールデン・ゲート・パークの計画につながった。学校、教会、劇場、その他様々な施設が建てられた。

また、サンフランシスコ要塞は、太平洋岸におけるアメリカの最も重要な軍事施設となった[44]。20世紀を迎える時点で、サンフランシスコは、その華やかさ、豪華なホテル、ノブヒル地区の邸宅、そして芸術の繁栄で知られるようになった[45]。
震災と火災1906年のサンフランシスコ地震とそれによる火災。

1906年4月18日午前5時12分、サンフランシスコ地震がサンフランシスコ市内及びカリフォルニア北部を襲った。建物は倒壊し、破裂したガス管が引火して火災が発生し、数日間にわたって街中を焼き尽くした。水道管は使えなくなっていたので、サンフランシスコ要塞の砲兵隊は建物をダイナマイトで破壊することで防火帯を作り、火を封じ込めようとした[46]。街の4分の3以上が灰燼に帰し、ダウンタウンの中心部はほとんど焼けてしまった[47]。当時の記録によれば、498人が命を落としたとされるが、現代の推計では死者は数千人に上るだろうと考えられている[48]。市の人口40万人のうち半数以上が住む家を失った[49]。避難者は、しばらくの間、ゴールデン・ゲート・パークや、要塞や、海岸などに設けられた間に合わせのテント村で生活した。また、サンフランシスコの東のイーストベイまで移住した人も多い。
災害からの復興1915年サンフランシスコ万国博覧会のパレス・オブ・ファイン・アーツ。

その後、復興が急ピッチで進んだ。街路を一から設計しなおすよう求める声もあったが、サンフランシスコ市民は、スピードを優先した[50]。アマデオ・ジアニーニが創設したバンク・オブ・イタリー（後のバンク・オブ・アメリカ）は、生計の手段を奪われた人々に貸出しを行った。ノブヒル地区の倒壊した邸宅は、豪華ホテルとなった。サンフランシスコ市庁舎は、見事なボザール様式で再建され、1915年のサンフランシスコ万国博覧会でその再生が祝われた[51]。
金融都市としての発展

その後、サンフランシスコは、金融センターとしての地位を強固なものにしていった。1929年のウォール街大暴落の時でさえ、サンフランシスコの銀行は一つも破綻しなかった[52]。世界恐慌の最中も、サンフランシスコではサンフランシスコ・オークランド・ベイブリッジ（1936年完成）とゴールデン・ゲート・ブリッジ（1937年完成）という2大プロジェクトが同時に進行していた。

なお、同じころ、軍事施設だったアルカトラズ島が連邦刑務所となり、アル・カポネ、マシンガン・ケリー、「バードマン」と呼ばれたロバート・フランクリン・ストラウドなどがここに収容された。