延暦24年（805年）12月7日（旧暦）、緒嗣と同僚の参議・菅野真道は桓武天皇より現在の政治の問題点について質問を受けた。緒嗣は開口一番「方今天下の苦しむ所は、軍事と造作なり。此の両事を停むれば百姓安んぜん（今、天下の人々が苦しんでいるのは、蝦夷平定と平安京の建設です。この二つを止めればみんな安心します）」と述べた。長年天皇に仕え、身分の低い学者から抜擢を受けた老齢の真道は天皇の意向を汲んで必死に反論をしたものの、ついに天皇は緒嗣の主張を受け入れてライフワークとも呼ぶべき事業である、蝦夷平定と平安京の建設の中止を宣言した。（「徳政論争」）、桓武天皇は翌年に崩御した。
平城天皇の時代に入ると、新帝のもとで荒廃する地方政治の再建のために緒嗣や藤原園人を中心に観察使制度を設けて、地方政治の運営を中央政府の高官が直接監視する新制度を導入した。天皇と緒嗣らの意気込みは相当なもので、大同2年（807年）には参議自体を廃止して同クラスの高官達を観察使専任にするほどであった。ところが、翌年緒嗣は名将・坂上田村麻呂の後任として陸奥出羽按察使を兼務して現地に赴くように命じられるのである。緒嗣の力量を買われた人選ではあったが、同職の最大の課題である蝦夷平定に反対した前歴があること、生粋の貴族で兵法にも疎く体も丈夫ではない事を理由に3度にわたって辞表を提出した。だが、認められることはなく、翌年には現地に赴いた。だが、あくまで自分の所信を貫いた緒嗣は在任中一度も軍隊を動かす事はなく、現地の役人や兵士・民衆の保護政策に専念した。
1年半後、文室綿麻呂に職を譲って都に戻ってみると、平城天皇の退位とそれに続いて発生した緒嗣と同じ式家出身の藤原薬子が中心となった薬子の変により情勢は一変していた。緒嗣とは何ら関係のない事件であり、自身も鎮圧する側に回ったのであるが、種継の娘で縄主の妻（種継・縄主ともに緒嗣の従兄弟）であった薬子が事件の首謀者だったということで緒嗣の政治基盤であった式家全体が政治的な地盤沈下を招いた。その上、この混乱の中で観察使制度が廃止され参議が復活したこと（緒嗣は参議に復帰）で緒嗣主導の改革政策は事実上挫折した。そして、1歳年下である北家の藤原冬嗣が嵯峨天皇によって新設の蔵人頭に任命されて政治の中枢に立ち、薬子の変の4年後には官位の点で緒嗣を追い抜き、北家が台頭する事となる。その後の緒嗣の出世は冬嗣の後塵を拝することになり、失意と病気のために度々引退を申し出たものの許されなかった。だが、その一方で『新撰姓氏録』や『日本後紀』の編纂事業に参画した。特に後者は（実際の執筆はともかくとして）、編纂の全過程に緒嗣が関ったと言われており、彼の元に優れた文才と批判精神を持つ人たちが集められて作られた歴史書となった。また、外交的な意味が薄れて半ば商用と化し、通過先の住民を煩わせるだけとなった渤海からの使者の制限を提案している。
828年、冬嗣が没すると右大臣だった緒嗣は姉・旅子が生んだ淳和天皇を助けて再び政治の中枢に立つものの病気がちで満足に政務が取れない日々が続いた。更に将来を期待していた長男家雄にも先だたれる。既に冬嗣の息子の長良・良房兄弟は政界の中心に台頭しつつあり、冬嗣にはその死後に更に差を付けられてしまう事となる。
嵯峨朝から仁明朝は崇文の治と称えられるほどの安定した治世ではあったが、嵯峨天皇がすぐに皇子である正良親王(仁明天皇)に譲位せず、弟の大伴親王(淳和天皇)に譲位した事は両親王派の派閥を生む事となった。かくして、嵯峨上皇崩御後の承和9年（842年）に起こった承和の変によって、中納言・藤原吉野（緒嗣の従兄弟の子）が流刑になったのは式家には大きな痛手となった。その翌年、正二位左大臣に昇ったとは言え、その志を十分達することなく病死した。晩年は空海ゆかりの観音寺（今熊野）の整備とその隣接地における法輪寺（後の泉涌寺）創建に携わり、次男の春津の代に完成している。墓所は観音寺内にあるとも言われているが不詳である。「国の知りて奏せざることなし（常に国と民を思い、政治的な問題は必ず議題とした）」
といわれた賢明で良心的な政治家であったが、その反面頑固一徹なところがあり、そのために政治的には孤立してしまう側面があり、冬嗣親子に苦汁をなめさせられる事が多かったと言う。この父の姿を見て育った次男の春津は父の死後、早々と引退をしてしまい、緒嗣の死後に式家が政治の中枢に立つ事は二度となかった。
系譜
父 : 藤原百川
母 : 伊勢大津の娘
異母姉 : 藤原旅子(759-788)
弟 : 藤原緒業
妻 : 蔵垣忌寸企の娘
長男 : 藤原家緒（799-832、従四位下左兵衛督兼美濃守）
次男 : 藤原春津（?-859、従四位下で致仕。息子藤原枝良…845-917、従四位上参議）
妻 : 不明
男子 : 藤原本緒
男子 : 藤原忠宗
女子 : 藤原正子（桓武天皇女御、藤原清成の娘とも言われる）
女子 : 藤原常嗣室
略歴
延暦7年（788年） - 正六位上。内舎人
延暦10年（791年） - 従五位下。侍従兼中衛少将
（この間に、常陸介・内厩頭を兼任）
延暦16年（797年）7月 - 正五位下、同月改めて従四位下。同月衛門督に昇進、翌月出雲守兼任
延暦17年（798年） - 造西大寺長官兼任
延暦20年（801年） - 右衛士督に昇進
延暦21年（802年） - 参議
大同元年（806年）5月 - 山陽道観察使兼任。閏6月畿内観察使兼任に変更
大同2年（807年） - 参議廃止（畿内観察使兼右衛士督）
大同3年（808年）3月 - 刑部卿兼任。5月東山道観察使兼陸奥出羽按察使（翌年陸奥赴任）
大同5年(810年)5月 - 観察使廃止・参議復置9月 - 美濃守に兼職が変更されて帰京（同月、「薬子の変」発生）同月 - 弘仁元年に改元後、右衛士督兼任（再任）
弘仁6年（815年） - 従三位（藤原冬嗣は前年に任命され、地位が逆転する）
弘仁8年（817年） - 中納言
弘仁9年（818年） - 正三位
弘仁12年（821年） - 大納言
弘仁14年(823年) - 従二位。皇太子傅兼任
天長2年（825年） - 右大臣
天長3年（826年） - 藤原冬嗣（左大臣）死去（緒嗣、政府首班となる）
天長9年（832年） - 左大臣
天長10年（833年） - 正二位
承和10年（843年） - 正二位左大臣で死去（70歳）