古代の郡は、律令制の行政区画で、国（＝令制国）の下に置かれた。『日本書紀』は、大化の改新の時に郡（こおり）が成立したと記すが、当時は実際には評（こおり）と書いていた。大宝律令の成立の時に郡となり、かつての国造などが郡司となって管轄した。郡には郡衙が置かれ、班田や徴税の管理に重要な任務を果たし、律令制度下の中央集権的行政の末端に位置した。延喜式では591郡が在ったとされる。単位系では、郡の下に郷、郷の下に里が置かれた。

しかし10世紀には、筆頭国司である受領の権力強化などにより、郡の機能は低下し始めた。11世紀には、荘園が一円領域化して国衙の支配から自立し、郡の管轄からも外れて行った。国衙の側も残された公領を再編成し、下部に郷を組織した郡から国衙に直結した、郡、郷、保、院、条、別名などの並立体制となった。これに伴い、旧来の在地豪族の系譜を引く郡司層は急速に没落した。没落した郡司層の多くが国衙に近侍し、在庁官人となった。在庁官人には他に受領が引き連れてきた実務官僚などが加わり、新たに再編された郡司、郷司、保司などの管理者として任命された。また、受領自体が任期中に私領を獲得したり、在地豪族に入婿したりして土着化し、子弟が在庁官人化するケースも見られる。やがてこれら在庁官人は武士化していった。

中世・近世

鎌倉時代になると、国内に並列する荘園、郡、郷、保などは、管理者である荘司、郡司、郷司、保司らの多くが御家人となり、地頭に任命され、武士たちの基礎的な領地の単位となった。

戦国時代には、大名の領国に対する支配強化の一環として、郡単位での支配郡ごとに郡代がおかれるようになった。江戸時代にも、各藩と江戸幕府は、郡を地方統治の単位として用いた。

近現代

明治初年の郡は地理的区分に留まっていたが、1878年の郡区町村編制法で行政区画としての郡が復活した。同法は、府県の下に郡を置いて、郡長を任命する事を定めた。この時に、大きな郡を分割したり、小さな郡同士で合併したりした。この制度下の郡は自治体ではなく、郡長以下は中央政府の官僚であった。郡の役人が勤務する役所は、郡役所といった。

1890年に郡制が公布された。郡は府県と町村の中間の地方公共団体として規定され、郡会が置かれ、郡会議員が選挙された。1896年に沖縄県に郡が編成された。

1921年には郡制廃止法が発布され、1923年に郡会が廃止され、1926年に郡長と郡役所が廃止されると、郡は再び単なる地理的区分になった。戦時中の1942年には、内務省告示によって、北海道以外の全ての府県に、府県の出先機関として地方事務所が設置された。地方事務所は、原則として郡を単位にして設置されていたため、事実上、郡役所が復活した形となった。

戦後の1947年施行の地方自治法では、地方事務所・支庁などの都道府県の出先機関は、各都道府県が条例によって設置・廃止する事ができるようになり、地方事務所を廃止した県や、区割を変更した県、「振興局」や「県民局」などと称した出先機関を設置した県もある。

現在の郡は、住所表記や、広域連合体（広域行政圏）の範囲、都道府県議会選挙区の区割などに用いられるに留まる。地方自治法には郡に関する規定は設けられていないが、郡の廃置分合は都道府県が権限を持ち、条例で行う事となっている。尚、島嶼部である伊豆諸島と小笠原諸島は、東京都に編入されているが、郡は設置されていない。

明治以降の郡に、市や区は属さない。そのため、町村に市制が施行されると、その範囲は郡域から除かれる。はじめのうち市の範囲は純粋に都市部に限られており、市部と郡部は市街化された地域とそうでない地域に対応していた。

しかし後に合併によって市町村の面積が広がると、市も広い農山村部を抱え込むようになり、郡との区別の意義は薄れた。こうなっても市が郡から除かれることに変わりなかったため、市の増加・拡大にともなって多くの郡が消滅した。平成の市町村合併では、合併でできた市が明治時代の郡に相当する面積を持つこともめずらしくない。岐阜県郡上郡が郡上市に、宮城県栗原郡が栗原市にといった具合である。

以上の変遷を経た上でも、（市域の除去を考慮しなければ）奈良時代の名称と区域をほぼそのまま継承している郡が少なからずある。しかし、江戸時代までに再編や改称を経たところもあり、明治初期にはさらに多くの郡が変更を受けた。いわゆる平成の大合併の影響で、郡や郡に属する町村は激減の一途をたどっている。郡境を越えた合併により、岡山県加賀郡（2004年）、石川県鳳珠郡（2005年）、福井県三方上中郡（2005年）、北海道二海郡（2005年）、北海道日高郡（2006年）などの郡が稀に新設されているが、合併後の人口が市昇格条件に満たないための措置と考えられ、郡に属する町村の減少例の一つに過ぎない。

かつて群馬県には、「東村」が5村存在し、いずれも「あずまむら」もしくは「あづまむら」と読むため、所属の郡を付して呼称し区別する慣習があった。いわゆる昭和の大合併と平成の大合併を経た現在では、県内すべての「東村」は廃止され、県内において郡により区別する意義は極めて希薄となった。

以上のことから現在の郡は、自治行政の面では公職選挙法上での選挙区の編成単位に利用されている程度でこれ以外で郡の存在意義は薄い。

朝鮮の郡

郡
{{{picture-type}}}
{{{caption}}}
各種表記
ハングル：?
漢字：{{{hanja}}}
平仮名：
（日本語読み仮名）ぐん
片仮名：
（現地語読み仮名）クン
ラテン文字転写：gun, kun
{{{alphabet-type}}}：{{{alphabet}}}

三国時代にはすでに郡と記される制度があった。統一新羅時代の757年、景徳王は郡や県の固有語由来の漢字表記を改め、佳字を選んで漢風に漢字2文字の名前に変更した。