当駅は駅長が配置された直営駅であり、管理駅として六甲道駅- 灘駅間の各駅と元町駅・新神戸駅を管轄している。アーバンネットワークエリア（京阪神地区）に属しており、ICOCA利用可能駅である（相互利用可能ICカードはICOCAの項を参照）。
接続路線各路線の駅の位置関係

当駅は下記の路線との乗り換えが可能となっている。

阪神電気鉄道 本線 ⇒ 神戸三宮駅

阪急電鉄 神戸本線・神戸高速線 ⇒ 神戸三宮駅

神戸新交通 ポートアイランド線 ⇒ 三宮駅

神戸市交通局 神戸市営地下鉄西神・山手線 ⇒ 三宮駅

神戸市交通局 神戸市営地下鉄海岸線 ⇒ 三宮・花時計前駅

山陽新幹線への乗り換え特例

神戸市内における山陽新幹線の駅として新神戸駅がある。新神戸駅は新幹線単独駅であり、在来線に直接乗り換えることができない。そのため、特例で当駅が乗り換え最寄り駅とされており、神戸市内発着の乗車券により当駅で途中下車後、新神戸駅へ再入場することが可能である。ただし、当駅から新神戸駅への移動費用（地下鉄運賃およびタクシー料金など）は現金またはICOCA・PiTaPaなど交通系ICカードのチャージ残額で別途支払う必要がある。
歴史「三宮駅#歴史」も参照

1874年、大阪駅 - 神戸駅間の開通と同時に開業した[4][注 6]。当時は宇治川を挟んで東が神戸町（神戸港）、西が兵庫津（兵庫港）で、海運との連絡や荷捌き場が必須となる神戸駅は海に面する広大な土地を必要としたが、神戸町の沿岸部には既に余地が無く、兵庫津の沿岸部には宇治川 - 湊川（旧河道）間に余地があった[注 7]。厳密には宇治川河口西岸に福原遊廓が置かれていたが、これを湊川東岸の代替地（新福原）へ移転させ、また、西国街道沿いの兵庫津相生町の人家を山側の坂本村南部（仲町部）へ移転させ、兵庫津の相生町および東川崎町に神戸駅が設置された。一方、神戸町側では旧来の町場（元町）と神戸外国人居留地の境界となる鯉川筋付近、現在の元町駅の位置に当駅が設置された。駅名は「神戸」を使用できないことから、駅の東方に鎮座する三宮神社から採られた。

1899年に居留地が返還された後も、日本の商社や銀行が多く進出するビジネス街として発展し、阪神電気鉄道（阪神電車）が1905年に現・三ノ宮駅付近に阪神本線のターミナル駅・三宮駅（現神戸三宮駅）を設けたことなどにより、中心市街地は東へ移り変わっていた。昭和に入ると神戸市の都市計画に絡み、市街を分断する形になっていた鉄道省線（国有鉄道線）を地下線とする案が市から出された。鉄道省は費用の問題もあり高架化することとなったが、市の都市計画の一環で現・三ノ宮駅付近に新たな街を形成する指針が示されており、1931年、高架化とともに現在地に移転開業した[注 8]。なお、移転元の位置には1934年に請願を受けて元町駅が開業している。1945年の神戸大空襲で旧市街地が甚大な影響を受けたことや、1957年神戸市庁舎が旧居留地東側に完成したことなどにより、兵庫駅でも神戸駅でもなく三ノ宮駅が中心市街地となった。

駅名は、開業当時の駅位置近くにあった三宮神社が由来である[5][注 9]。地名や他の交通機関の駅名などはすべて「三宮」であるのに対し、JRのみ「三ノ宮」と“ノ”の文字を含んでいるのは、開業が最も早く、駅創設時からあえて“ノ”をつけることによって地名の読み違いをさせないよう配慮していた名残であると考えられている[6]。「三ノ宮」という駅名は、今ではJRと他交通機関の駅名を区別するのに役立っている（一方で、近隣の類似事例であり当駅と同日に西宮町（現在の西宮市）に開業した西ノ宮駅は、市の長年の要望もあって2007年3月18日、さくら夙川駅の開業と同時に“ノ”を省いた「西宮駅」に改称された）。駅名については、#駅名改称構想の項も参照のこと。

長らくプラットホーム上屋（屋根）は8両編成分のみ設置されていたほかホームの嵩上げもなされていない状態が続き、新快速が平日ラッシュ時や土曜・休日に12両編成での運転を開始して以降も大阪側の4両編成分には屋根がないほか、ホームと車両の床面が揃わず水平ではなかった。この部分は2005年3月1日のバリアフリー化工事完成と同時に整備されたが、それ以降もさらに大阪側（12両編成以上）の部分には上屋が設置されていない。