大宝律令の成立の時に「郡」が設置され、かつての国造などが郡司となって管轄した。郡には郡衙が置かれ、班田や徴税の管理に重要な任務を果たし、律令制度下の中央集権的行政の末端に位置した。延喜式では591郡があったとされる。国の下に郡を置き、郡の下を50戸1里の里に編成した。7世紀後半から国・コオリ(評)・サト(五十戸・里)の体制が見られ、701(大宝1)大宝令で国郡里制が成立。717(霊亀3)頃から740(天平12)までは郡の下に郷、郷の下に里が置かれ国郡郷里の編成となり(郷里制)、その後は国郡郷となった。郷里制はそれまでの里を郷と改称し、その下に下級の単位として新設した2?3の里(コザト)を置いたものである。これと連動して、戸の編成も従来の戸を郷戸・房戸の2段階とし、籍帳を通じて本貫地での人民把握の強化を図った。しかし本来流動的な人口動態を固定化する制度には限界があり、739(天平11)末頃には里が廃止され、国郡郷の3段階制となった。郡は、郷の数によって大・上・中・下・小の五等級に分かれていた。南伊勢の度会評は「神郡」というかたちで、半ば自律的な行政単位であった。

しかし10世紀には、筆頭国司である受領の権力強化などにより、郡の機能は低下し始めた。11世紀には、荘園が一円領域化して国衙の支配から自立し、郡の管轄からも外れて行った。国衙の側も残された公領を再編成し、下部に郷を組織した郡から国衙に直結した、郡、郷、保、院、条、別名などの並立体制となった。これに伴い、旧来の在地豪族の系譜を引く郡司層は急速に没落した。没落した郡司層の多くが国衙に近侍し、在庁官人となった。在庁官人には他に受領が引き連れてきた実務官僚などが加わり、新たに再編された郡司、郷司、保司などの管理者として任命された。また、受領自体が任期中に私領を獲得したり、在地豪族に入婿したりして土着化し、子弟が在庁官人化するケースも見られる。やがてこれら在庁官人は武士化していった。
中世・近世

鎌倉時代になると、国内に並列する荘園、郡、郷、保などは、管理者である荘司、郡司、郷司、保司らの多くが御家人となり、地頭に任命され、武士たちの基礎的な領地の単位となった。

戦国時代には戦国大名らの地域権力が領国拡大を行い、本国・分国の領域支配の一環として、支配領域を古代以来の国郡制とは異なる独自の支配領域区分である「郡」単位で分割し、各郡ごとに郡代を配置した。

相模国後北条氏においては郡単位で公事賦課を行った郡代支配を展開し、やがてこれは郡代支配を引き継いだ支城制へと完成していくことが指摘される。一方で、戦国大名の領域支配は本国・分国の歴史的経緯や領国化時期の差異、自立的な国衆の存在などにより一様ではなく多様性があり、必ずしも郡代・支城制支配により均一な支配でなかった点も指摘されている[2]。

江戸時代の幕藩体制下において、江戸幕府や各藩では、地方（じかた）の統治に際して郡代や郡奉行といった役職を置くことがあった。幕府の郡代は広域の幕府領（天領）を管轄する役職であって、その管轄範囲は歴史的地域区分としての郡よりも広い。諸藩では、それぞれ独自の地方区分を設けている場合もある（たとえば、南部藩の通（とおり）、熊本藩の手永（てなが）など）。
近代1869年時点の郡域（琉球・奄美の間切も含む。ただし越郡合併で境界線不明区域になった村は、その郡に編入された部分に大字または市町村単位で反映）旧東山梨郡役所（博物館明治村）

明治初年において「郡」は地理的区分に留まっていた。1878年に制定された郡区町村編制法（明治11年太政官布告第17号）によって行政区画としての郡が復活した（施行時は一律ではなく、府県ごとに異なる）。同法は、府県の下に「郡」を置き、長として「郡長」を任命することを定めた。この制度下の郡は自治体ではなく、郡長以下は中央政府から派遣された官僚であった。郡の役人が勤務する役所を「郡役所」といった。この時に、広大な郡の分割が行われた（例えば、青森県の北郡は上北郡と下北郡に分割された）。また、郡長はすべての郡に1人ずつ配置されたわけではなかった（例えば、千葉県の安房郡・平郡・朝夷郡・長狭郡を管轄したのは「安房平朝夷長狭郡長」であった）。

1890年、府県制とともに郡制（明治23年法律第36号）が公布された。郡は府県と町村の中間の地方公共団体として規定され、議決機関として「郡会」（郡会議員は公選）と「郡参事会」が置かれた。この際、郡の統合再編が行われた（例えば、上述の「安房平朝夷長狭郡長」管轄下の4郡は安房郡に統合された）。

1896年には 「沖縄県ノ郡編制ニ関スル件」（明治29年勅令第13号）が施行され、郡が置かれていなかった沖縄県にも新たに郡が編成された（それまでは間切という行政区分が置かれていた）。1915年には当時外地であった樺太でも内地に準じた郡の編成が行われているが、郡会は設けられず自治体としての性格は持たなかった。

1921年、原内閣により郡制廃止法が公布されて1923年に郡会が廃止された。また、1926年に郡長と郡役所が廃止され、郡は再び単なる地理的区分になった。

第二次世界大戦中の1942年には、内務省告示によって、北海道以外の全ての府県に、府県の出先機関として地方事務所が設置された。地方事務所は、原則として郡を単位にして設置されていたため、事実上、郡役所が復活した形となった。
現代

戦後の1947年施行の地方自治法では、地方事務所・支庁などの都道府県の出先機関は、各都道府県が条例によって設置・廃止する事ができるようになり、郡は地方行政の一単位とされることはなくなった。現在の郡は、住所表記や、県が定める広域連合体（広域行政圏）の区割り、都道府県議会選挙区の区割などに用いられるに留まる。

郡の廃置分合は、都道府県知事が権限を持ち、都道府県の議会の議決を経て定め、総務大臣に届け出ることとなっている（地方自治法第259条）。

明治以降の郡には市や区は属さない。そのため、町村に市制が施行されるとその範囲は郡域から除かれる[3]。当初、市の範囲は市街化された地域に限られており、市部と郡部は市街地と農山漁港部に対応していた。