1847年にオールド・コロニー鉄道でミルトンと結ばれた。ミルトンはボストン旧家の避暑地であったが、鉄道開通により閨閥の集住地となった。

19世紀後半、ボストンに住み始めるアイルランド人・ドイツ人・レバノン人・シリア人・フランス系カナダ人・ユダヤ系ロシア人・ユダヤ系ポーランド人の数が増えていった。19世紀の終わりには、ボストンの中心部が互いに異なる民族の移民居住地でモザイク化していた。イタリア系はノースエンド、アイルランド系はサウスボストンとチャールズタウン、ロシア系ユダヤ人はウェストエンドに住んだ。アイルランド系とイタリア系の移民はローマ・カトリックを持ち込んだ。多様な民族が多様な資本をもちこみ、困窮しがちな移民を互いに独立した慈善組織が世話していたが、見かねた市は公的かつ一元的な救貧政策を打ち出した[44]。ドーチェスターの丘から望んだボストン（1841年）

19世紀半ばから末にかけて、ボストン旧家は手厚く文芸を支援した。ナサニエル・ホーソーン、ヘンリー・ワズワース・ロングフェロー、オリバー・ウェンデル・ホームズ・シニア、ジェイムズ・ラッセル・ローウェル、ジュリア・ウォード・ハウ、ジョン・ロスロップ・モトリー、ジョージ・バンクロフト (歴史家)、サミュエル・モリソン、ラルフ・ワルド・エマーソン、メリー・ベーカー・エディなどの作品が知られる。エマーソンはミルトン閨閥である。

また、ボストンは奴隷制度廃止運動の中心地ともなった[45]。サミュエル・ジョンソン[46] はチャールズ・フォックス・ホベイのパートナーであったが、ともにウィリアム・ロイド・ガリソンを支援した。ボストンは、1850年の逃亡奴隷法に強く反対し[47]、1854年のバーンズ逃亡奴隷事件の後、フランクリン・ピアース大統領はボストンを見せしめにしようとした[48][49]。

ボストンにとっても大不況 (1873年-1896年) は暗い時代だった。1872年にボストン大火に遭い、その焼け跡から復興しなければならなかった。1889年11月にエドワード・L・カニングハムというミルトン閨閥（フォーブズ家・ラッセル家・ジョンソン家）の一人が自宅で射殺された。遺族メアリー・A・カニングハムの遺言によって、自宅の土地は1905年にカニングハム公園となった[50]。フィデリティのエドワード・ジョンソン2世は公園管理会に参加している[51]。1890年代に名家出身のトーマス・ウィリアム・ローソンがいわゆるハゲタカファンドの地元ガス業界乗っ取りに手を貸した。数十人の議員に賄賂を払ったのである。1899年、アナコンダ銅鉱山会社にローソンが参加した。この会社にはウィリアム・ロックフェラーだけでなくロスチャイルド家も出資をした。

1907年恐慌の時にジェシー・リバモアがユニオン・パシフィック鉄道株の空売りで大もうけした。1914年にジョセフ・P・ケネディがコロンビア・トラスト・カンパニーのホワイトナイトになった。このころの投資信託は常識のようにポートフォリオが非公開であった。1924年にスウェーデン系アメリカンであったエドワード・レフラーが最初のミューチュアルファンドを始めようとした。しかし勤めていたマサチューセッツ・インベスターズ・トラストは乗り気で無く、その他多くの点でもレフラーと意見が違った。そこでレフラーは12月にMIT ファンドを売る別会社をつくって距離をとった。パートナーにウィリアム・エイモリー・パーカーという証券マンがいた。彼は大統領を出したクィンシー家とハーバードに勝訴したエイモリー家の閨閥の出身で、仕事の大体がルートセールスだった。