コンコースは、地上、3階の公園口通路、大連絡橋、新幹線地下コンコースがある。改札は地上の中央改札、中2階の不忍改札、3階コンコースの公園改札と入谷改札の計4か所である。新幹線コンコースへは中央改札を入って右側の新幹線改札を利用する。

出口は中央改札正面の広小路口・正面玄関口や同左手の浅草口、不忍改札からは不忍口・西郷口・山下口、3階の入谷改札からは東上野口・パンダ橋口・入谷口などが利用できる。同じく3階の公園改札からは公園口に直結していて、上野恩賜公園へはここを利用するのが近い。正面玄関口および広小路口の出口からは、国道4号（日光街道）などを跨ぐ歩道橋が利用できる。また駅を跨ぐようにパンダ橋が架かっており、自由に歩くことができる。パンダ像は二つあり、実物の倍の大きさはある巨大なジャイアントパンダ像はパンダ橋口を出たところに、もう一つの小パンダ像は、大連絡橋コンコースにある。

京成電鉄の京成上野駅へは不忍口を経るよう案内サインがあるが、地下鉄構内および京成線連絡通路で両駅が屋内・地下経由でつながっていることはあまり強調されていない（JRと京成線の連絡駅は、山手線・京浜東北線で北側に2駅進んだ日暮里駅が指定されている）。

中央改札・不忍改札側の駅舎は2003年にJR東日本のステーションルネッサンスにより大改装が行われ、多様な店舗が入居する駅ビル「アトレ上野」になっている。また、高架ホームのさらに高いところ（3階部分）にある公園口通路と大連絡橋の間の改札の内外には1990年代後半に「ディラ上野」（駅ナカ）が完成した。駅1階の中央改札の内外も「ディラ上野」に含まれる。

アトレ上野は2002年2月22日に開設。「FUSION SQUARE 人が集まるeki融合空間」をコンセプトに、駅周辺にない飲食・食物販・ファッション・雑貨など54店舗を、「レトロ館・ガレリア」、「グランドコンコース」、「七番街」の3ゾーンに配置した。20〜39歳の女性をターゲットに新たなエキナカショッピングシーンを演出した。2007年4月から9月まで3段階でリニューアルする。第1弾リニューアルのコンセプトは「FAVORITE SQUARE お気に入りの、素敵空間」、スイーツ・デリ・ファッション雑貨を中心に、「ゴディバ」、「日本橋屋長兵衛」、「アール・エフ・ワン」、「ベーグルアンドベーグル」、「ジンズ グローバル スタンダード」、「サマンサタバサ プチチョイス」など10ショップを2007年4月から6月までに開設。既存9ショップの改装も行なわれる。東京圏駅ビル開発は、同年8月に浅草口地下でカフェ・雑貨ショップなどを配置した新フロア「レトロゲート」を開設。同年9月にはフロアリニューアルを行い、グランドオープンした。

2005年春に全体のリニューアル工事が完成し、全面白で統一された外観となった。完工時には「上野駅リニューアルキャンペーン」が開催され、JR東日本のイメージキャラクターであり、このイベントのCFにも登場した女優の国分佐智子を招いてのオープニングセレモニーが行われた。

しかし、「かつての薄暗いイメージは全くなくなったものの、逆に上野駅らしさがなくなった」とする意見もある。一方でSuicaが当駅構内の全テナントで利用可能となったため大幅に利便性が向上された。当駅の大改装は品川駅、大宮駅などで展開されているいわゆる「駅ナカ」の模範となっている。

18番線は1997年の長野新幹線開業による特急列車（信越本線「あさま」「白山」など）の大幅削減により、特急・急行用ホームの16〜18番線に余裕ができたため、1999年9月に廃止となった。18番線ホームの跡地と東上野口・入谷口には、2006年7月19日からフィットネスクラブが入居している。

東北・上越新幹線開業前は、都内の北へのターミナル駅として、東北・北陸・新潟方面へ向かう東北本線・奥羽本線・上越線・信越本線・羽越本線の各特急・急行などの長距離優等列車の発着が中心的な存在だった。