1874年（明治7年）、旧水道の実態調査で上水汚染を目の当たりにした東京警視廳係官奥村陟は上水導水路の汚染実態と水道改良について訴え、また奥村の上司である東京警視廳少警視桧垣直枝も西洋の水道政策を日本警察の父である東京警視廳大警視川路利良に上申している。この上申は内務卿（内務大臣）伊藤博文にも提出され、東京府は上水清潔事業を開始した。東京府が申請した上水清潔事業を審査した内務省土木寮石井省一郎も前述の奥村が訴えたように水道の鉄管化の必要性を説いた。
玉川神田両上水や上水井戸の水質悪化は政府にとって懸案となった。帝都の首都機能を維持する為の衛生上の問題だけでなく近代国家としての体面にかかわる問題であると痛感した為である。政府は水道の抜本的な改良による近代化が必要であるとして調査を命じた内務省土木寮雇オランダ国工士ファン・ドールンから1874年（明治7年）に『東京水道改良意見書』を提出させ、翌年には『東京水道改良設計書』を提出させた。これを受けて1876年（明治9年）に政府は東京府に水道改正委員を設置して上水の改良方法や建設費用等を調査検討した報告書『府下水道改設之概略』を提出させている。1880年（明治13年）には『東京府水道改正設計書』を立案した。
そして1877年（明治10年）から1882年（明治15年）にかけて日本全国でコレラが蔓延して社会不安を起こし、1886年（明治19年）には東京で1858年（安政5年）に約10?20万人が死亡した安政コレラ以来28年ぶりにコレラが大流行した。同年8月7日付の東京日日新聞（現在の毎日新聞）は「清潔法の骨髄は、飲料水の改良と下水の改良にある」と報じ、上水改良と下水道網の整備を切々と訴えている。東京に於けるコレラ大流行は近代水道の必要性を一般国民に広く認識させ、政府は水道改良事業計画の策定を急いだ。
1888年（明治21年）には内務省に市区改正委員会が設置されて水道改良の実施を決議し、調査検討の結果、1890年（明治23年）7月1日に『東京水道改良設計書』が内閣総理大臣の認可を得た。同年9月には東京市会本会議に於いて全会一致で水道改良費650万円及び道路河濠橋梁公園改正費350万円の合計1,000万円の市区改良費が認められた。東京市民にとっては税負担が重くなる事を意味するもので、水道改良中止を求める反対運動まで起きたが、暫くして運動は下火となった。1891年（明治24年）11月1日には東京府庁内に水道改良事務所が設置された。前述の東京水道改良計画書は後に内務技師・東京市水道技師である工学博士中島鋭治の「淀橋に浄水工場（浄水場）を築造し芝と本郷に給水工場(給水所)を築造、淀橋以西に新水路を築造する」と言う意見が盛り込まれ、同年12月1日の市区改正委員会に於いて議決され、設計変更された。1892年（明治25年）6月から翌年4月にかけて東京市は淀橋浄水工場予定地の地権者との厳しい用地買収交渉の末、用地買収を完了した。全ての用地買収が完了していない1892年（明治25年）9月21日には先行して淀橋浄水工場仮事務所建築の盛土工事を着工、同年12月には新水路工事が着工され、1893年（明治26年）10月22日に淀橋浄水工場に於いて改良水道起工式が挙行された。
浄水工場築造中は不祥事が相次いだ。1894年（明治27年）5月29日、東京市会は日本鋳鉄会社による鉄管の納期遅延問題で、同社と締結した鉄管購買契約を同社による契約不履行を理由に解除、処分した上で新たに同社と契約する事を議決した。しかし1895年（明治28年）10月30日には日本鋳鉄会社による鉄管の納期遅延問題や検査不合格品の鉄管を合格品と偽装して不正納入した事件が発覚した。東京市は直ちに同社社長を刑事告訴、11月5日に東京市会は日本鋳鉄株式会社外5名に対して旧刑事訴訟法第4条による附帯私訴を可決した。さらに東京市会は日本鋳鉄株式会社の契約保証金全額没収を議決、12月9日に鉄管納入不正事件により東京府知事三浦安の不信任を議決した。この事件は政界を巻き込む不祥事に発展し、東京市参事会員の辞表提出や12月10日の内務大臣野村靖による東京市会解散命令、翌1896年（明治29年）3月12日に東京市会は再度東京府知事に対して不信任を議決、再び内務大臣野村靖による東京市会解散命令、3月14日には東京府知事三浦安の辞職等、東京市政は第二次伊藤内閣を巻き込む形で大混乱に陥った。東京市会は当該鉄管事件を契機として特別市政撤廃を目指し、1898年（明治31年）10月1日に特別市政が廃止されて一般市制が施行され、東京府東京市麹町区有楽町の東京府庁内に東京市役所が開庁、10月6日に新たな東京市長松田秀雄が就任した。
前述のような反対運動や土地収用や不祥事と言った数々の紆余曲折に大いに悩まされつつも、かくて1898年（明治31年）12月1日に竣工を迎え、明治維新以来31年目にしてコレラ大流行といった未曾有の悲劇を乗り越えて遂に市民悲願の近代水道が東京に誕生した。淀橋浄水工場は直ちに神田・日本橋方面に通水したのであった。晴れて新年を迎えた翌1899年（明治32年）1月からは各戸の給水工事に取り掛かって2月からろ過処理された浄水を給水開始。その後も給水区域を着々と拡大し、新世紀を迎えた1901年（明治34年）には東京市内の旧上水を廃止した。
給水開始当時の水道は現在の一般家庭各戸に給水されるスタイルではなく、街路に設置された共用水栓を利用するものであったが、上水井戸の時代とはうって変わって雨天時の混濁がなく、多大な労力を要する事も無く蛇口をひねればいつでも清潔でおいしい浄水を大量に得る事が出来た。これは水に苦労した東京市民を非常に喜ばせた。特に有史以来炊事・洗濯・掃除といった家事に追われる主婦にとっては天佑とも言える家事の革命で大変歓迎され、家事の負担を著しく軽減した。
また鉄管で密閉・圧送された浄水は清潔なだけではなく、消防用水としての大きな効果を期待出来るものであった。これは江戸時代以来市民を苦しめ続けてきた大火を未然に防止する有効な手段と能力を得る事になった。