同一駅に3種類のホームがある。
高架ホーム
1〜12番線（山手線・京浜東北線・宇都宮線・高崎線・常磐線）緩斜面に建設された一部高架の6面12線の島式ホーム。宇都宮線と高崎線、常磐線の列車が当駅に到着する際、「高いホーム」または「高架ホーム」と呼ばれる。コンコースとのアクセスになるエスカレーターおよび階段の一部は、9・10/11・12番線ホームを貫いて直接13/14・15番線ホームに向かうものがある。常磐線の案内は中距離列車は青■、快速電車は緑■で表記されている。一部列車を除き、基本的に案内の色と同じ色の列車がホームに入線する。当駅に到着する際の山手線・京浜東北線の車内LCDにおける常磐線のラインカラーは特急列車や土浦・水戸方面へ向かう列車への乗り継ぎを意識してか■青色となっている。
地平ホーム
13〜17番線（宇都宮線・高崎線・常磐線）地平にある3面5線の櫛形ホームで、ヨーロッパのターミナル駅の風情を漂わせている。到着の際は「低いホーム」または「地平ホーム」と呼称される。13〜15番線は普通列車用ホームで宇都宮線・高崎線列車が着発するほか、常磐線の列車も1本のみ到着扱いがある（回送となるため、発車はない）。13番線の傍には、寝台列車待ちの際に休憩所として利用できる「五つ星広場」が、また特急専用ホームの16・17番線には有人の中間改札口がある。かつて地平ホームには18〜20番線が存在し、新幹線開業まではいずれも上野発着の優等列車が数多く発着していた。その後、新幹線ホーム建設のために19・20番線が使用中止（後に廃止）となったほか、18番線は長野新幹線の開業後、信越方面への特急「あさま」・「白山」が廃止されたため不要となり廃止（そのまま欠番とされた）された。2008年現在、18番線の日暮里寄りにはわずかながら線路跡が残る。「北斗星」などの客車列車の場合、機関車の付け替えができないため、車両基地である尾久車両センターとの間は機関車を後部にした状態で回送運転する。こちらを参照。当駅折り返しの宇都宮線・高崎線・常磐線中距離電車は当駅に到着し、乗客が降りた後に車内清掃を行う。また、当駅に平日18時台に到着する常磐線快速電車では、整列乗車を行っている。新幹線ホーム改札の隣には寝台特急「カシオペア」に使用されているE26系の模型が置かれている。
新幹線地下ホーム
19〜22番線（東北・山形・秋田・上越・長野新幹線）地下5階にある2面4線のホーム。上下線で番線をある程度明確に割り振ってはいるが、上野始発の下り新幹線は全ホームを使用する。この他に、東京駅発の臨時列車が19・22番線で定期列車の待避をする場合がある。地下ホームまでの直通エスカレータはJRの駅で最長である[要出典]。

1■京浜東北線田端・赤羽・大宮方面
2■山手線田端・池袋・新宿方面
3■山手線東京・品川・目黒方面
4■京浜東北線東京・品川・横浜・大船方面
5〜9■宇都宮線（東北本線）赤羽・大宮・小山・宇都宮・黒磯方面
■高崎線・上越線・両毛線赤羽・大宮・熊谷・高崎・新前橋・前橋方面
9・10■常磐線取手・土浦・水戸・勝田・高萩方面
（勝田行き最終列車は11番線から発車）
11・12■常磐線・常磐線（快速）・成田線勝田・松戸・我孫子・取手・成田方面
13〜15■宇都宮線（東北本線）赤羽・大宮・小山・宇都宮・黒磯方面
■高崎線赤羽・大宮・熊谷・高崎・新前橋・前橋方面
13■寝台特急「北斗星」「カシオペア」「あけぼの」「北陸」札幌・函館・秋田・青森・金沢方面
16・17■特急「水上」「草津」「あかぎ」 急行「能登」水上・万座・鹿沢口・前橋・金沢方面
■特急「スーパーひたち・フレッシュひたち」柏・土浦・水戸・勝田・いわき・原ノ町・仙台方面
19■上越・長野新幹線高崎・越後湯沢・長岡・新潟・長野方面
20■東北・山形・秋田新幹線宇都宮・福島・仙台・盛岡・八戸・山形・新庄・秋田方面
■上越・長野新幹線高崎・越後湯沢・長岡・新潟・長野方面
21■新幹線東京行
22■新幹線臨時使用

発車ベル・メロディ

16・17番線で発車メロディを使用するほかは発車ベルである。山手線で発車ベルを使用している駅は当駅と新大久保駅のみである。これは、東北地方から東京に出て来た乗客が迷わないために、敢えてベルのまま残したというのが理由とされているが、当時の名残ともいえる。5〜10番線（以前は地平ホームでも）では発車ベルの後に客扱終了合図のブザーが鳴動する。