綾部市や舞鶴市など周辺の地域を含め、この地では考古学上貴重な資料ともなる大小さまざまな多数の古墳や副葬品などが出土している。福知山市内からは古くは縄文時代初期のころのものが出土していることから、既にそれ以前にはこの地に人が住んでいたことや、多くの有力豪族がこの地一帯を統治していたことが考えられている。福知山市の場合、それを示唆するものの一例として国の重要文化財にも指定された盤龍鏡と呼ばれる「景初四年」の年号が刻まれた鏡の出土があげられる。
しかしこういった遺跡や住居跡などは平安時代初期にかけてまでしか見つかっておらず、こういった勢力は飛鳥時代の終わりごろに滅亡していったと考えられている。
平安時代になると摂関家領の荘園として利用されるようになり、後期には天田郡（あまだごおり）のほとんどが荘園として利用されるようになった。鎌倉時代に入ると多数の守護や地頭が送り込まれたために、その荘園もやがて彼らの物に変わっていった。
室町時代後期になると、信濃小笠原氏の小笠原長清の末裔とされる小笠原頼勝は、福知山盆地の中央部に位置する「横山」と呼ばれた丘陵地に簡素な空堀と土塁だけで出来た横山城を築きあげた。のちに小笠原頼勝は塩見頼勝と名を改め、その子塩見頼氏が横山城等を拠点としてこの地を統治するようになる。
戦国時代に入ると、塩見頼氏は子の塩見信房に横山城を譲り、彼が福知山を統治するようになる。
しかし1579年（天正7年）8月に織田信長に丹波平定を命ぜられた明智光秀は横山城を攻め落とし、城主の塩見信房は自害し果て、塩見氏の福知山統治は終焉することになる。光秀は褒章として丹波の国を与えられ、同時にこの城を城代に命じて大改修を行った。光秀はこの改修後の城を「福智山城」と改め、ここに福知山の地名が誕生する。更に光秀はそれまでたびたび氾濫を起こしていた由良川の流れを改善し、度重なる洪水によって疲弊していた農民に対し地子銭を免除するなど善政を敷き、城下町としての基礎を築いたのであった。
そのわずか3年後の1582年6月に光秀は本能寺の変を起こし一時天下人になるも、山崎の戦いにおいて羽柴秀吉に敗れ落命し、明智氏は滅亡する。福知山を含む丹波一体は秀吉の支配下に置かれ、秀吉の家臣の小野木重勝（小野木重次、小野木重勝ともいう）や杉原家次らが、秀吉の命により福智山城城主となり統治するようになる。 重勝は秀吉の没後、徳川家康と石田三成とが対立すると三成に味方し、1600年（慶長5年）には家康方の細川幽斎が守る田辺城を攻め落城させたが（田辺城の戦い）、関ヶ原の戦いにおいて三成が敗れたことにより逃亡、細川忠興に追い討ちをかけられ自害した。
福知山藩も参照
関ヶ原の戦いにおいて徳川家からその功績を認められた有馬豊氏は、横須賀藩から石高を増やしたうえで福知山へと国替を命ぜられた。有馬豊氏は検地を行い、今でもその名残を残す近代的な町割りを行い城下町を築き上げた。こうして福知山市の前身である石高六万石の福知山藩が立藩されたのである。
その後有馬豊氏は更に大坂の陣においてもその功績を認められ、久留米藩へと国替を命ぜられこの地を去り替わって小堀政一や伏見奉行などによって統治されるようになるが、以降この地を統治していた領主は国替えや改易によってたびたび交代がなされるようになった。その間1649年（慶安2年）に福知山藩に入った松平忠房が行った検地は、地租改正が行われるまで福知山の土地制度の基準となったためこれを松平検地と呼ばれる。
1669年（寛文9年）に朽木稙昌が藩政を務めるようになって以後、十三代にわたって朽木氏が藩政を務める様になり、藩主が五代目朽木玄綱になると地名を「福智山」から「福知山」に改め、「明智光秀の治水によって水害から救われ、城下町として栄えたのは彼のおかげである」という住民の連署によって御霊神社に光秀の合祀を許したのであった。
一方このときの福知山藩の財政状態は朽木家二代目朽木稙元を始めとして苦しいもので、その建て直しをはかってたびたび財政改革を行おうとするものの、たびたび百姓による強訴が起きるなど失敗に終わってしまうのであった。強訴においては特に享保の大飢饉を発端とするものと、1860年に起きたものは大規模なものであった。
廃藩置県により1871年（明治4年）7月14日に福知山藩は撤廃となり福知山県となる。その後豊岡県に統合、分割を経て町村制施行により福知山町が誕生する。
このとき日本は日露戦争を控え、京阪神と日本有数の軍港である舞鶴港をつなぐ交通網の普及が急がれたことから、福知山はその中継地点として福知山線と山陰本線の敷設が行われた。同時に旧陸軍歩兵第20連隊は、このときから現在の福知山駐屯地に駐屯するようになる。
このとき但馬（丹波）牛の集散地としてや、以前から行われていた由良川河畔での桑の栽培が盛んに行なわれようになり軍需産業としても養蚕業が栄え繊維関係での中核地として栄えるようになる。