玄界灘沿岸は、弥生時代や古墳時代を通じてアジア大陸との窓口という交通の要衝であった。そのため、畿内を地盤とするヤマト政権が外交や朝鮮半島への軍事行動の要衝として、出先機関を設置することになった。

『日本書紀』宣化天皇元年（536年）条の「夫れ筑紫国は、とおくちかく朝（もう）で届（いた）る所、未来（ゆきき）の関門（せきと）にする所なり。（中略）官家（みやけ）を那津（なのつ、博多大津の古名）の口（ほとり）に脩（つく）り造（た）てよ」

同 崇峻天皇5年（593年）条の「駅馬を筑紫将軍の所に遣して曰はく」

同 推古天皇17年（609年）4月の条に「筑紫大宰（つくしのおほみこともち）、奏上して言さく」

などの記述が、太宰府がヤマト政権の出先機関として設置され存在した証拠と考えられる。

なお、推古天皇17年4月の条については、「大宰」の文字の初見とされる。
飛鳥時代

白村江の敗戦（663年）直後は防衛拠点を置くために、吉備大宰（天武天皇8年（679年））、周防総令（天武天皇14年（685年））、伊予総領（持統天皇3年（689年））などにも作られた。
大宝律令以降

大宝律令（701年）の施行とともに、筑紫大宰（九州）のみが残され、それ以外の大宰は廃止された。

7世紀に入ると、遣隋使小野妹子が隋の使者裴世清を伴って那津に着いた頃から、官家（みやけ）は、大陸や朝鮮半島からの使者の接待をも担うようになったと考えられる。また、同じ時期に聖徳太子の弟である来目皇子が新羅遠征を名目に九州に駐屯しており、両方の政策に関与していた聖徳太子が一族（上宮王家）を筑紫大宰に任じて、大宰の力を背景に九州各地に部民を設置して支配下に置いていったとする説がある[9]。

筑紫大宰は九州全体の統治と外国使節の送迎などにあたったと考えられ、以後は大宰府に引き継がれていく。

斉明天皇6年（660年）百済が滅亡し、百済復興をかけて天智天皇2年（663年）8月唐・新羅連合軍と対峙した白村江の戦いで大敗した。

天智朝では、唐が倭へ攻め込んでくるのではないかという危惧から天智天皇3年（664年）、筑紫に大きな堤に水を貯えた水城（みずき）・小水城を造ったという。水城は、福岡平野の奥、御笠川に沿って、東西から山地が迫っている山裾の間を塞いだ施設であり、今もその遺跡が残っている。構造は、高さ14メートル、基底部の幅が約37メートルの土塁を造り、延長約1キロにわたる。また、翌年の天智天皇4年（665年）大宰府の北に大野城、南に基肄城などの城堡が建設されたとされた。

大化5年（649年）には「筑紫大宰帥」の記述があるほか、天智天皇から天武天皇にかけての時期にはほかに「筑紫率」「筑紫総領」などが確認でき、中央から王族や貴族が派遣されていた事を示すと考えられている。なお、「総領」の語が大化改新後に登場する言葉であることから、「筑紫総領」を「筑紫大宰」からの改称とみる説、「筑紫大宰」が官司名で「筑紫総領」をそれを率いた官職名とする説、大化改新後に「筑紫大宰」とは別に「筑紫総領」が設置され両者は職掌が分かれていたのが後に統合されて大宰府になったとする説などに分かれている（なお、「大宰」と「総領」両方の設置が確認できるのは、吉備国と筑紫国のみであったことも注目される）[10]。

機関としては、天智天皇6年（667年）に「筑紫都督府」があり、同10年（671年）に初めて「筑紫大宰府」が見える。

この時代は、首都たる大和国（現在の奈良県）、延暦13年（794年）以降は山城国（現在の京都府）で失脚した貴族の左遷先となる事例が多かった。例としては菅原道真や藤原伊周などがいた。また、大宰府に転任した藤原広嗣が、首都から遠ざけられたことを恨んで天平12年（740年）に反乱を起こし、その影響で数年間大宰府は廃止され、その間は大宰府の行政機能は筑前国司が、軍事機能は新たに設置された鎮西府が管轄していた。つまり、天平14年（742年）1月にいったん廃止し、天平15年（743年）12月に筑紫に鎮西府を置く。しかし、天平17年（745年）6月に復活させている。
平安時代

その後、平安時代に入ると大宰府の権限が強化され、大同元年（806年）2月に大宰大弐の官位相当が正五位上から従四位下に引き上げられ（『日本後紀』）、弘仁元年（810年）には大宰権帥が初めて設置された。天慶4年（941年）天慶の乱（藤原純友の乱）で陥落、府庁は一度焼失したと考えられている[11]。大宰権帥の橘公頼が対抗する。

平安時代後期になると、「大府」「宰府」という異名も登場する。ただし、12世紀に入ると、「大府」は名目のみの存在となった大宰帥に代わって責任者の地位にありながら実際には遥任の形態で京都で政務を執った大宰権帥や大宰大弐を、「宰府」は大宰府の現地機構を指すようになった。大宰権帥や大宰大弐が現地機構に対して発した命令を大府宣、反対に現地機構からの上申書を宰府解（大宰府解・宰府申状）と呼んだ[12]。この頃、刀伊の入寇に伴い、大宰府官や東国武士団が九州に入り活躍、鎮西平氏や薩摩平氏などとして周辺の肥前や南九州に割拠し始める。一例として大宰大監であった平季基が、後年日本最大の荘園となる島津荘の開拓が挙げられる。

交易面でも大宰府の重要性が増し、10世紀から13世紀まで日宋貿易、これと並行して朝鮮や南島との貿易も盛んとなった。1080年（承暦4年頃）の大宰府解に『商人の高麗に往反するは，古今の例也』とあるとおり、朝廷がこれを積極的に統制しなかった[13]。

保元3年（1158年）に平清盛が大宰大弐に就任（赴任せず）。1166年には弟の平頼盛が大宰府に赴任する。平氏政権の基盤の一つとなった日宋貿易の統制のため、やがて北九州での政治的中心地は、大宰府から20キロメートル北の博多（福岡市）へ移る。

宋・明州（江省寧波市一帯）の長官と後白河法皇と平良盛との間で「公式」な交易関係が結ばれ、貿易が隆盛を極めるとともに、古来の渡海制・年紀制などの律令制以来の国家による貿易統制が形骸化していく事に繋がった。これにより鎌倉時代に至るまで大宰府権門は直接的な交易実益を喪い没落、名誉職としての大宰権帥としての権威付け及び有力国人が権帥、大弐への就任する形態に遷移していく。1173年（承安3年）には摂津国福原の外港にあたる大輪田泊（現在の神戸港の一部）を拡張し、博多を素通りさせ、福原大輪田泊まで交易船が直輸した。

源平合戦期には平家武人が大宰府に一時落ち延びた。北九州に平定のため入国した天野遠景が文治2年（1186年）九州惣追捕使・鎮西奉行に補任され大宰府権門を掌握する。しかし10年ほど過ぎた後、天野は頼朝に解任され、鎌倉へ召喚された。

平安時代を通して大宰府現地官人の土着化、土豪化が進んだ[11]。
鎌倉時代

治承・寿永の乱を経て鎌倉時代に入るまでに、古代以来の官舎としての大宰府は解体、廃絶したと考えられている[11]。