上述のとおり、指定都市は各分野につき、完全に独立した行政を担当できるまでの事務移譲を受けるわけではなく、農林行政、防災行政については、ほとんど授権がない。一方で、都道府県と指定都市との間では、一部につき共通する行政を担当することから、両者の間での二重規制、二重行政に陥る可能性が指摘されることがある[7]。法令上指定都市は、一部の特例措置を除いては、一般の市町村と同列の制度の適用を受けるため、都道府県が市町村の行政を審査する行政不服審査制度に関する事項など、両者の関係について法令上あいまいな部分もある[7]。新たな法令を制定することを通じ、都道府県に指定都市に対する勧告権を付与し、指定都市内の行政に関する関与権限を弱める案などが提唱される。
以下に大都市制度の沿革を記す。以下とは別に、首都圏整備法（昭和31年法律第83号）、近畿圏整備法（昭和38年法律第129号）などが大都市圏制度として制定されている（→三大都市圏）。
明治以降
1878年（明治11年）7月22日：郡区町村編制法（明治11年太政官布告第17号）を制定。同法第4条により、「人民輻輳ノ地」に法人格を持たない区が置かれ、区会（議会）も設置された。また東京、大阪、京都の三都は勅令指定都市に指定された。通常、1都市1区であったが、東京には麹町区以下15区、大阪には東区・西区・南区・北区の4区、京都には上京区・下京区の2区と、人口密集地が広い勅令指定都市三都には1都市に複数の区を置いた。
1889年（明治22年）4月1日：市制（明治21年法律第1号）を施行。市制中東京市京都市大阪市ニ特例ヲ設クルノ件（明治22年法律第12号、三市特例）も制定され、人口が多い東京市・大阪市・京都市の三市では区が存置された。市を代表するのは市会であるが、一般市では市会が3人の市長候補を推薦し、内務大臣が天皇に上奏して1人の市長が裁可（市会推薦市長。任期6年）されたのに対し、三市では、市長を置かずにその職務は府知事が行った。
1898年（明治31年）10月1日：市制中東京市京都市大阪市ニ於ケル特例廃止法律（明治31年法律第19号）を施行。三市での反対運動により、三市特例が廃止されて一般市と同じ市制を適用し、市会推薦市長が生まれた。市制中追加法律により、三市では区制が残された。
1908年（明治41年）4月1日：名古屋市に区制施行（4区）。「三市」（三都）以外では初の大都市制度導入例。
1911年（明治44年）：市制改正法律を施行。三市の区は法人格を持つこととなった。
1922年（大正11年）：六大都市行政監督ニ関スル法律を制定。「三市」に神戸市、名古屋市、横浜市を加えて六大都市とした。六大都市では、府県知事の許可等なしで市の実務実行ができるようになった。
1927年（昭和2年）10月1日：横浜市に区制施行（5区）。
1931年（昭和6年）9月1日：神戸市に区制施行（8区）。
1943年（昭和18年）7月1日：東京都制（昭和18年法律第89号）の施行により、東京府と東京市が廃止されて東京都が置かれた（以降、東京については特別区参照）。「六大都市」から東京市を除いた5市に「五大都市行政監督特例」を施行し、五大都市（京都市・大阪市・横浜市・神戸市・名古屋市）とした。
戦後
1947年（昭和22年）：地方自治法（昭和22年法律第67号）を公布。「五大都市」が指定されることを見込んで、「特別市」の規定を盛り込んだ[8]。
1956年（昭和31年）：地方自治法を改正。特別市に関する規定を削除。「五大都市」が指定されることを念頭に「指定都市」制度（政令指定都市制度）を創設[9]。
1956年（昭和31年）9月1日：改正地方自治法を施行。同法第252条の19第1項に基づき、政令（地方自治法第二百五十二条の十九第一項の指定都市の指定に関する政令（昭和31年政令第254号））で指定された大阪市、名古屋市、京都市、横浜市、神戸市の五大都市が指定都市（政令指定都市）となる。
1963年（昭和38年）4月1日：北九州市が指定都市となる。「六大都市」（五大都市）以外では初の大都市制度導入例となった（参照）。
この間、1972年（昭和47年）に札幌市・川崎市・福岡市が、1980年（昭和55年）に広島市が、1989年（平成元年）に仙台市が、1992年（平成4年）に千葉市が指定都市となる。
2001年（平成13年）8月30日：市町村合併支援プラン[10]を決定。市町村合併を進める国の方針に従い、2005年（平成17年）3月までに大規模な合併をした自治体に限って、人口要件の運用基準を緩和する方針（参照）が打ち出された[11]。
2005年（平成17年）4月：静岡市が初めて緩和措置に基いて指定都市に移行した。これは、特別区最大の人口を擁する世田谷区を下回る人口で指定都市に移行した初めての例となった。