古代の丹波国の西端に位置する氷上郡の地である。4 - 5世紀の著名な遺跡としては親王塚古墳（氷上地区）、二間塚古墳（春日地区）が残る。古社としては春日町の兵主神社（式外社）が知られている。

戦国時代には「丹波の赤鬼」として知られた赤井直正が春日地区の黒井城に拠って三丹に武威を轟かしている。織田信長麾下の明智光秀による丹波攻めは赤井直正討伐が主眼となっていたが、直正は病没するまでの3年間、明智軍の猛攻に屈しなかった。この頃、柏原八幡神社など明智光秀の丹波攻めによって焼かれたという寺院もある。このため今でも光秀に対する恨み言を聞くことがあり、現代でも光秀が敬慕されている京都府の亀岡市や福知山市とは歴史観を異にしている。

江戸時代の氷上地域は、別所吉治が但馬八木領より丹波北由良領一万五千石に国替えになり、北由良陣屋を築き北由良藩を立てた。吉治は大坂の陣の功により五千石を加増され、北由良藩二万石の領域が確定したものの、その後改易された。

また、柏原地域は、織田家（織田信雄系）二万石の支配下となるが、城主格は与えられず柏原陣屋が建てられた。幕末には柏原藩、三田藩、鶴牧藩の領地や旗本領が市域全体に複雑に入り組んでいた。明治維新後の1871年に豊岡県へ統合され、1876年に兵庫県に属した。この他、徳川家光の乳母・春日局は春日地区に生まれたとされている。
沿革

2004年（平成16年）11月1日 - 氷上郡柏原町・氷上町・青垣町・春日町・山南町・市島町が合併して発足。同時に市章を制定した[1][2]。

2007年（平成19年）4月1日 - 市花・市木を制定[3]。

2015年（平成27年）6月29日 - 兵庫県立人と自然の博物館は、同県丹波市の白亜紀前期（約1億1000万年前）の地層から恐竜の卵殻化石の新種が見つかったと発表[4]。

行政
市長

市長：林時彦（2020年12月5日就任、1期目）

代氏名就任年月日退任年月日
初 - 3代辻重五郎2004年12月5日2016年12月4日
4代谷口進一2016年12月5日2020年12月4日
5代林時彦2020年12月5日現職

市名制定に関する経緯

氷上郡6町の合併にあたっては、新市名候補の公募がなされた。この結果では「氷上」の応募が最多となったほか、「ひかみ」が3位となるなど郡名（あるいは町名）に因んだ応募が比較的多かった。これに対し、氷上郡合併協議会は「ブランド力の活用」などの理由で応募数では2位の「丹波市」を合併協議会委員の投票により選定した。これに対して地元住民のほか、当時の篠山市（現・丹波篠山市）[5]や綾部市[6]など丹波地域内の周辺自治体などから見直しを求める声が上がった。これを受けて合併協議会は改めて検討を行ったが、「公募は人気投票ではなく、応募数は参考に留めるものである」「公正なルールに従って選定された」「旧国名を採用している事例はほかにも多い」といった理由により見直されることはなかった[7]。