江藤の政界引退表明を受け、2003年10月10日に亀井が3代目会長に就任したが、亀井が会長に就任してから間もなく、同年の第43回衆議院議員総選挙における公認問題をめぐり、同派の最高顧問だった中曽根が小泉純一郎総裁により総選挙不出馬、引退に追い込まれた。

長年の持論であった郵政民営化を強力に推進する小泉に対し、亀井や参院亀井派会長の中曽根弘文らは強硬に反対。しかし、亀井の姿勢は小泉改革に賛同する水野賢一らの離反を引き起こした。亀井が「反小泉」の旗幟を鮮明にするにつれ、亀井派を離脱する議員もいたが、亀井は退会の意思を示した議員を引き止めず、「（亀井のトレードマークである）亀のバッジをつけていると、選挙に不利だから、亀のバッジをはずしてやってくれ」と逆に自派の議員たちを思いやった。

郵政民営化法案は、衆議院で亀井、元衆議院議長綿貫民輔、前総務会長堀内光雄、元郵政大臣野田聖子ら亀井派以外の派閥からも造反者が相次いだが、5票差で可決される。法案は参議院で中曽根弘文らの造反により否決され、小泉はただちに衆議院を解散する。解散後に亀井は志帥会会長を辞任して自民党を離党し、綿貫や元国土庁長官の亀井久興らと共に国民新党を結党した。亀井派所属の農林水産大臣・島村宜伸が、閣議で衆議院解散に反対して辞表を提出したが、小泉に罷免された。
旧亀井派時代

亀井が志帥会会長を辞任した後、一時的に元経済産業大臣の平沼赳夫が後任の会長に就任したが、衆議院での採決で反対票を投じた平沼も自民党から公認されず、無所属での出馬を余儀なくされたため、会長を辞任。これにより、伊吹文明が後任の会長に選出されるまで、志帥会会長のポストは空席となった。
伊吹派時代伊吹文明

2005年9月15日に郵政民営化法案で賛成した会長代行の伊吹が派閥の次期代表に内定したが、派内に反発の声があり、正式就任は見送られた。同年12月14日、島村を名誉会長に棚上げすることで、伊吹の正式な会長就任が決まり、「伊吹派」が発足した。「亀井派」のイメージを払拭するため、平沼が命名した「志帥会」の名称を変更することも検討されたが、派内の反発もあり断念した。

2007年3月15日、名誉会長だった島村が派閥を退会。これは、亀井の離脱以来、派内における主導権争いにおいて島村が伊吹と対立していたことや、島村が郵政解散に反対していた経緯から、「刺客」として選挙を戦った同派の西川京子や鍵田忠兵衛との間に確執が生じていたことなどが原因と見られている。

9月の自民党総裁選で、伊吹派は古賀派や町村派と連携して麻生派を除く八派閥で福田康夫支持を固め、「麻生包囲網」を敷いた。しかし、伊吹派からは麻生太郎の総裁候補推薦人を5人も出したため、伊吹派は福田支持で固まっていない派閥と見られた。伊吹派の所属議員で、麻生支持を明確にした議員は28人中20人いた。

9月24日に新総裁福田の下で伊吹は幹事長に就く。志帥会から幹事長輩出は派閥創設以来初で、中曽根派・渡辺派・旧渡辺派時代を含めても3人目である。幹事長就任に伴い、伊吹が形式的に派閥を離脱したため、中川昭一が会長代行に就任した。

伊吹は福田康夫改造内閣では財務大臣に就任したが1か月余で福田は首相を辞任する。5人が立候補した2008年の自民党総裁選で伊吹派は麻生太郎幹事長の支持を派閥単位で決定する。麻生の盟友であった中川がいち早く麻生支持を表明し、9月4日の伊吹派役員会でその旨が確認された。麻生内閣の発足に伴い、河村建夫が内閣官房長官に、伊吹に代わり中川昭一が財務大臣に就任した。のちに辞任する。

2009年の第45回衆議院議員総選挙では次期会長候補の筆頭だった中川ら派閥メンバーの落選が相次ぎ、派閥領袖が苦戦する中、会長である伊吹も京都1区で敗れ、比例近畿ブロックで復活当選することとなった。選挙後、北海道7区で初当選した伊東良孝が加入した。

総選挙の惨敗を受けて派閥の勢力は大幅に縮小され、中川が10月に急逝する。2009年の総選挙で当選者が会長の二階俊博1人だった保守新党の流れを組む二階派と合併が模索され、11月5日に二階派の二階俊博、泉信也、鶴保庸介の3人が伊吹派へ合流した。2010年1月に古屋圭司が議員グループのぞみへの参加を表明して休会し、事実上伊吹派を離脱した。2010年の第22回参議院議員通常選挙に泉が出馬せず、政界を引退。新たに2009年の総選挙で落選し、参議院に鞍替えして出馬した片山さつきが当選後、加入した。同年8月には中曽根弘文が自民党参議院議員会長選挙への出馬を表明。「脱派閥」を掲げての出馬であるため、中曽根は伊吹派を離脱した（後に復帰）。

2011年5月12日に無所属の中村喜四郎が無所属のまま特別会員として入会したものの、自民党入党は見送られた。中村は2020年9月に立憲民主党に入党する。
二階派時代
第2次安倍内閣発足二階俊博