総武本線の乗り入れ工事に合わせて、2代目の御茶ノ水駅舎の建築が行われた[15]。この頃の建築界では、過去の様式にとらわれずに新しい建築材料にもっとも適した建築をしようというウィーン分離派（ウィンナー・セセッション）の動きが出ていた[16]。そして鉄・ガラス・コンクリートといった材料を使って、無装飾で実用本位な建築を行うインターナショナル・スタイルが誕生し、日本においてもこうしたモダニズム建築の動きが見られるようになった[17]。こうしたモダニズム建築の様式による駅舎の設計を行ったのは、東京帝国大学建築学科を卒業して鉄道省に入省した、建築家の伊藤滋であった。設計に際しては、湯島聖堂の近くにあるから東洋趣味を重んじたものにするように、との外部団体からの要望も寄せられたが、伊藤はこれを一蹴し、震災復興橋梁として先に完成していた聖橋（1927年完成）、御茶ノ水橋（1931年完成）との調和を重視した設計を行った。それまでの駅はいったん乗客を待合室に滞留させてからプラットホームへ導くものであったが、伊藤は駅は道路の一部であるとして旅客流動を重視した設計を行い、やってくる乗客を次々に捌く新しい電車時代の駅を設計した[18]。これは駅舎設計の根本的な転換で、以降の通勤電車の駅の設計の基本となった。これ以降、乗降客数は比べ物にならないほど増加したものの、御茶ノ水駅はその機能を果たし続けている[15]。
地下鉄の乗り入れ

第二次世界大戦後は、国鉄の駅にはプラットホームの延長や上屋の設置といった工事が行われた。1954年（昭和29年）1月20日には帝都高速度交通営団（営団）丸ノ内線の御茶ノ水駅が開業し、1969年（昭和44年）12月20日には営団千代田線の新御茶ノ水駅も付近に開業している[19]。丸ノ内線の御茶ノ水駅の建設にあたっては国鉄駅より駿河台側や国鉄駅の直下なども検討され、後者の案に関しては中川浩一によれば展覧会で完成予想パノラマも展示されたとのことだが、最終的には建設費節約の関係や国鉄駅の基礎を解体することが不可能なことから、現在地の神田川左岸が選択された[20]。御茶ノ水駅は神田川に面した急傾斜地に建設された関係で、アプローチ部分が半地下の駅舎のような構造となったが、建設費の節約を追求した当時の鈴木清秀営団総裁の「いたずらに宏壮華美を求めない」との方針の影響を受けてか国鉄の御茶ノ水駅と同じくインターナショナル・スタイルで設計されることになった。設計を担当したのは、国鉄の御茶ノ水駅の設計にも伊藤滋を補佐して関わった土橋長俊の主宰する土橋大野建築事務所であった。風致地区であったため上質な仕上げが心がけられ、ガラスをはめ込んだ出入口や軟石を貼るなどされている。単純な直線と曲線を組み合わせたシンプルで無駄のない造形であり、頂部の半円形の連続窓は土橋のかかわった交通博物館のガラス張りの階段室に通じるとされる。第二次世界大戦中の鉄筋コンクリートなどの資材不足により一度は途絶えた日本の鉄道におけるモダニズム建築はここで再び受け継がれ、以降の国鉄の駅舎の多くがインターナショナル・スタイルで建設されていくことになった[21]。当駅付近の丸ノ内線建設工事の際に、縄文時代の遺物が発見されて学術調査により貝塚と認定され、お茶の水貝塚と命名されている。
追突事故

1968年（昭和43年）7月16日の22時30分頃、国鉄の当駅1番線ホームを出発した豊田行き10両編成の電車のドアに乗客が挟まれているのを駅員が発見し、非常停止ブザーを扱ったために電車が非常停止した。後続の高尾行き10両編成の電車の運転士は、先行列車が出発するだろうとの見込みに基づいて、自動列車停止装置 (ATS) の電源を切って停止現示の信号を無視して進入したため追突事故を起こし、重軽傷者150人以上を出した[新聞 1]。
駅改良工事

国鉄分割民営化直後、JR東日本では1988年（昭和63年）に御茶ノ水駅の改築計画を打ち出した。従来の単なる通過点としての駅から、人々が楽しみ、最新の情報が得られる多様なサービス機能を備えることが必要であるとして、「都市型未来志向のモデル駅」として、事業費65億円、賞金2000万円の公開コンペを1989年に実施した。252点の応募があり、ゼネコンの応募した作品が最優秀に選ばれた。最優秀賞の設計は、3階建て延べ床面積約11,000平方メートルで、1階は列柱とアーチのコンコース、2階には水族館とホール、3階には美術館を備えるものであった。しかしその後、列車の運行を止めずに工事を進めるには上部を支える強い支柱が必要で技術的に難しいといった理由からJRはチームを解散し、改築計画は自然消滅となった[新聞 2]。

改築計画の消滅により、1932年に完成した駅構造がそのまま21世紀まで使い続けられることになった。駅が神田川と駿河台に挟まれた狭隘な場所にあるという構造上・立地上の問題からバリアフリー対応が十分に行われず、車椅子用のリフトは設置されているが、エレベーターやエスカレーターは設置されていないままであった。周辺に大学病院などの大規模な病院が数多く立地し、外来で通院する高齢者などから苦情が寄せられていたため、2002年に周辺の8病院が連名でJR東日本にバリアフリー対応の要請を行い、また、2006年12月下旬からエレベーターとエスカレーターの設置を求める署名運動が行われて、2008年に約1万2000人分の署名を千代田区長に提出して対策推進を要望した[22]。

これに対して、JR東日本は長らく費用面から及び腰であったが、2010年3月26日に、当駅で2010年度末からバリアフリー整備を行うことがJR東日本より発表された。また同日千代田区もJR東日本と連携して駅前広場の整備事業を行うことを発表した。その内容は、線路上空に人工地盤を設置し、改札内に連絡通路を新設し、御茶ノ水橋口駅舎および聖橋口の駅前広場機能の整備を行う。また、聖橋口駅舎を人工地盤上に移設してエレベーターやエスカレーターなどを設置することによりバリアフリー整備を行うものであった[23][報道 3]。これには、聖橋口前での旧日立製作所本社ビル（御茶ノ水セントラルビル）跡地での大型複合ビル建設など、病院の町としてだけでなく新たなオフィスビルの集積を目指した都市改造プロジェクトが進められていることから、新たな客層獲得がJR東日本の改修工事着手を後押しすることになったと推測されている[24]。

今回の計画は、当駅が狭い場所に立地していることから非常に難易度の高い大規模な工事になり、それに伴い列車の運行を変更する可能性もあるという。2010年度内に概略設計や関係者との調整を行い、同年度末の工事着手を目指して検討が進められる[報道 3]。2013年の秋以降は、駅構内や周辺の耐震補強を含めた本格的な駅改良工事へ入り[報道 4]、バリアフリー整備関連は2018年度まで、駅前広場機能整備は2020年度の完成を目標としていたが、工事の過程で広範囲に渡る地中埋設物の処理の影響により、バリアフリー設備は2019年1月末、駅前広場機能整備は2023年度に変更されることになった[報道 5]。その後、2023年10月17日に、JR東日本は、新聖橋口駅舎が同年12月3日、駅前広場機能整備が2024年度中に使用開始することを発表した[報道 6]。

JR中央線は、2020年代前半（2021年度以降の向こう5年以内）をめどに快速電車に2階建てグリーン車を2両連結させ12両編成運転を行う。そのため快速電車が停車する1・4番線は、ホームの12両編成対応改築工事が実施される[報道 7][新聞 3]。
年表

1904年（明治37年）12月31日：当駅 - 飯田町駅間開通と同時に甲武鉄道の駅として御茶ノ水橋の新宿寄りに開業[1]。旅客営業のみ。

1906年（明治39年）10月1日：鉄道国有法による甲武鉄道の国有化に伴い、官設鉄道の駅となる[7]。

1908年（明治41年）

4月19日：昌平橋駅 - 当駅間が開通[7]。