1820年代に地下鉄道が発達する以前の1600年代にはすでに奴隷たちが、補助を得ても得なくても、主人のもとから逃げ出していた。メリーランド州とオハイオ州で運営されていたアメリカ初の商業用鉄道東西ボルチモア・アンド・オハイオ鉄道は、偶然にも北へ向かう地下鉄道と交差していた。

地下鉄道という呼び名は、1831年にケンタッキー州に住む主人から逃亡したタイス・デイビッズの出来事がきっかけではないかと言われている。デイビッズは、著名な廃止論者で長老派の牧師でもあったジョン・ランキン（John Rankin、1793-1886）の助けによって、オハイオ川北岸のオハイオ州リプリーに亡命した。ランキンの自宅はオハイオ川を見下ろす丘の上にあり、対岸から遠望された。デイビッズの主人は彼を必死に追跡したが、彼が「あたかも地下の道に入っていったかのように消えた」と目撃について語った。ランキンは影響力のある廃止論者だったため、この話はすぐに有名になり、「地下（underground）」という言葉が用いられるようになった。[1]
行き先と経路

奴隷たちが逃亡してめざした北部の州では、歴然とした差別はあったものの、一応、自由の身になれた。だが、1850年の逃亡奴隷法の制定以後、北部の州でさえ住むにはとても危険だった。そのため、カナダなどの外国が逃亡先として好まれるようになった。上カナダでは奴隷貿易が1793年にジョン・グレイヴス・シムコー州副知事によって廃止されていたし、大英帝国では1833年に奴隷制が完全に廃止されていた。およそ30,000人の奴隷たちが無事にカナダに亡命した。中でも、当時人口の少なかったカナダの領域に逃亡した奴隷たちは重要な存在となり、オンタリオ州の現在の黒人人口が他の州に比べて多いのはこのためである。メキシコでは1829年に奴隷制が廃止され、また、1819年までフロリダ州はスペインの法域だった。

逃亡した奴隷たちの主な行き先は、ナイアガラ半島やオンタリオ州ウィンザー近くにある南オンタリオだった。20世紀になり、伝統的な言い伝えに「ひしゃく（ヒョウタンを半分に割って作った）をたどっていけ（Follow the Drinking Gourd）」という歌がある[2]。 ひしゃくとは、ひしゃく型をした北斗七星のことで星座の大熊座を意味する。そのひしゃくの中にある2つ星が北極星を指していた。北極星は夜空で一番明るく、小熊座の一部であり、小熊座は北の方向、つまり自由の方向を指していた。日差しが戻ってきて、最初のウズラが歌い始める頃、ひしゃくをたどって行け。あのおじいさんが待っていて、君たちを自由な場所へ連れて行ってくれるから、もし君たちが、 ひしゃくをたどって行くなら。ひしゃくをたどって行け、川岸は逃げ道にぴったりだし、枯れた木が道案内してくれる、左の脚、義足の脚、言い伝え通りに歩き続けて。丘と丘の間で川が終わるよ、 ひしゃくをたどって行け。向こう側にはもう1つ川があるよ、 ひしゃくをたどって行け。大きな川と小さな川が合流する場所で、 ひしゃくをたどって行け。あのおじいさんが待っていて、君たちを自由な場所へ連れて行ってくれるから、ひしゃくをたどって行け。（以上、黒人たちの伝統的な言い伝えから）シンシナティにある国立地下鉄道自由センター。地下鉄道の活動に関する史料を展示している。

ただ、研究者の間では、この歌は奴隷制時代に遡るものではなく、南北戦争後に作られた歌だとする考えが支配的である。

主な経路には、アパラチア山脈の東側へ、ペンシルベニア州やニューヨーク州を経由してナイアガラ半島へ、オハイオ州とミシガン州を経由してウィンザーへといったものがあった。また、リオグランデ川を南に渡る経路（後述）や、西方向へ、開拓されたばかりの領土に続く経路もあった。

オハイオ州は地下鉄道の活動にとって最も重要な州であった。北部の自由州と南部の奴隷州とを分ける境界線上にあったオハイオ川北岸には、シンシナティ、リプリー、ポーツマスなど、対岸の奴隷州であったケンタッキー州から川を渡って逃亡してきた奴隷を保護する拠点がいくつも存在した。そして州内の至るところに、これら河岸の拠点で保護された奴隷をさらに北へ逃亡させるルートが網の目のように張り巡らされていた。

また奴隷州側にも、比較的北部の自由州に近く、中立的な立場をとっていた州には、例えばデラウェア州の州都ドーバーのように、地下鉄道が活動の拠点としていた都市があった。