こうして親仁の即位（後冷泉天皇）にともない、異母弟の尊仁が皇太子に立てられた。だが頼通は藤原氏との縁の薄い尊仁には協力せず[注釈 2]、永承5年（1050年）に一人娘の寛子を後冷泉に入内させ皇后となし皇子誕生に望みを繋いだが、ここでも皇子に恵まれることは無かった。平等院鳳凰堂

永承6年（1051年）、陸奥国で前九年の役が勃発する。地方の世情が不安になる中、道長の後継として長年関白を務めた頼通の権勢は表面的には衰えず、御所の傍に巨大な高陽院を造営し、永承7年3月28日（1052年)には道長の別荘であった宇治殿を現代に残る壮麗な平等院鳳凰堂に改修した。

ただ、この頃荘園の増加によって国家財政が危機的状態にあり、その整理が必要とされていた。それら荘園の主たる領主が頼通ら権門であった。頼通は長久元年（1040年）、寛徳2年（1045年）、天喜3年（1055年）に荘園整理令に着手するが、結果的には権門擁護策に終わる（増加の抑制の成果については肯定的な見方もある）。

康平4年（1061年）、70歳になった頼通は太政大臣に任ぜられ位人臣を極めた。翌康平5年（1062年）には父の例にならい太政大臣を1年足らずで辞している。同年には10年以上に渡った前九年の役がようやく終結。治暦3年（1067年）には関白を辞して、准三宮を宣下された。後任の関白には同母弟の教通が任じられた。

治暦4年（1068年）3月、後冷泉天皇が危篤となり、長年冷遇してきた皇太子尊仁親王の即位がもはや避けられないことが明らかになると、頼通は同月23日に致仕の上表を行い、4月16日に勅許された。4月19日に天皇が死ぬと、頼通は宇治に閉居した。
晩年

後冷泉天皇の死により、皇太子尊仁親王が即位した（後三条天皇）。新帝は藤原氏とは直接の血縁がなく、35歳と壮年で25年の長い東宮時代を耐えた天皇は意欲的に国家財政の改革に着手し、有名な延久の荘園整理令を出した。藤原氏ら権門の荘園も審査の対象たるを逃れなかった。『愚管抄』は記録所が頼通にも文書提出を求めたとき「そんなものはないので全て没収しても構わない」と答え、頼通の荘園のみ文書の提出を免除されたという話を伝えているが、実際には、頼通の荘園も文書を提出したこと、その審査の過程で規定外の荘園が没収されたことなどが、孫の師通の日記『後二条師通記』に記されている。もっとも、頼通の荘園の中核であった平等院領の9か所については、全く手をつけることが出来なかった。『古事談』では天皇が官使を派遣して平等院領の検注を行うように命じたことを知った頼通は自ら官使を迎える準備をしていたものの、頼通を恐れた官使が誰も宇治に赴かなかったとされている。しかも、後三条天皇の視点においても、後冷泉天皇の死の直前に駆け込みで得たとは言え、平等院領の太政官符、太政官牒の効力を否定することは、太政官符・太政官牒を荘園の公験として扱い、これを持たない荘園を停廃するとした延久の荘園整理令の方針に反するものであった。頼通は表面上は整理令を受け入れつつも、天皇に自己の荘園の中核（平等院領）を認めさせたという点では、頼通が政治的には一矢報いる形となったのである。

延久4年（1072年）4月に出家した。同年12月、後三条天皇は在位4年で皇太子貞仁親王に譲位した（白河天皇）。上皇となり新帝を後見して院政を意図していたとも云われるが、僅か半年ほどで翌年5月に死去した。後三条とは東宮時代から対立した頼通だが、賢主の早世を嘆息したという。

若い頃は長者風の温和な性格だった頼通だが、長年権力を持ち続けると華美な生活を好み権勢に固執するようになったという。『古事談』によると頼通は実子師実に摂関を伝えることを強く望んだが、頼通の次の摂関の職は教通に伝えるべしとの道長の遺言を理由に上東門院（彰子）に拒絶され、やむを得ず教通に譲った。この際、次の摂関は師実に伝えるよう関白となった弟の教通に約束させたが、教通は一向に実行しようとしなかったため「自分は師実が職（摂関）にあることを目にしなければ、冥することができない」と言ったところ、教通は「摂関の任免は叡慮によることで、私の勝手でできることではない」と答え、頼通は酷く恨んだという。

延久6年（1074年）、83歳で死去。摂関政治の全盛期をともに担ってきた姉の上東門院彰子、弟教通も同年から翌年にかけて相次いで死に、白河天皇が譲位した後に開始した院政の時代へと移っていく。

頼通は長年にわたり権力者であった一方で、文化的にも指導的地位にあった。特に和歌に関しては自ら歌人であるとともに、積極的に歌合の開催や歌集の編纂に取り組んだ。なお、頼通作の和歌は『後拾遺和歌集』（1首）以下の勅撰和歌集に14首が入首している[6]。また、当時の例に漏れず頼通も日記を書いていた。しかし、弟の教通・頼宗の日記と同じく散逸して現在に伝わっておらず、ごく一部が『院号定部類記』『改元部類』『園太暦』に「宇治殿御記」「槐記」として逸文が収められている。
官歴

※日付＝旧暦

年紀年齢事歴
長保5年（1003年）12歳2月20日、元服。正五位下に叙位。昇殿と禁色を許される。

2月28日、侍従に任官。

月日不詳、右近衛少将に転任。
長保6年（1004年）13歳1月7日、従四位下に昇叙。

1月24日、近江介を兼任。
寛弘2年（1005年）14歳10月22日、従四位上に昇叙。
寛弘3年（1006年）15歳3月4日、従三位に昇叙。

9月22日、正三位に昇叙。
寛弘4年（1007年）16歳1月28日、春宮（のちの三条天皇・居貞親王）権大夫に転任。
寛弘5年（1008年）17歳10月16日、従二位に昇叙。
寛弘6年（1009年）18歳3月4日、権中納言に転任し、左衛門督を兼任。
寛弘8年（1011年）20歳6月9日、正二位に昇叙。
長和2年（1013年）22歳6月23日、権大納言に転任。