7月10日には、藤原頼長が宇治から上洛して白河北殿に入り、崇徳院の側近である藤原教長や平家弘・源為義・平忠正などの武士が集結する。崇徳上皇方に参じた兵力は甚だ弱小であり、崇徳院は今は亡き平忠盛が重仁親王の後見だったことから、忠盛の子の清盛が味方になることに一縷の望みをかけた。重仁親王の乳母・池禅尼は上皇方の敗北を予測して、子の平頼盛に清盛と協力することを命じた[8]。後白河天皇方は、崇徳院の動きを「これ日来の風聞、すでに露顕する所なり」[9]として武士を動員し、11日未明、白河北殿へ夜襲をかける。白河北殿は炎上し、崇徳院は御所を脱出して行方をくらました。
讃岐配流

崇徳院は源為義・平家弘らに擁されて東山の如意山に一旦逃れるが、投降を決意して剃髪し、武士らと別れる[10]。13日、崇徳院は仁和寺に出頭し、同母弟の覚性法親王に取り成しを依頼する。しかし覚性が申し出を断ったため[注釈 4]、崇徳院は寛遍法務の旧房に移り、源重成の監視下に置かれた[12]。崇徳院が剃髪して投降した背景には、薬子の変で挙兵に失敗して出家した平城上皇が、実権を失いはしたが自ら選んだ隠棲地の平城京で手厚い待遇を受けて余生を送った先例があったとされる。しかし、薬子の変の時代と異なり保元の乱の時代には上皇が在家出家を問わず院政を行う慣例が確立していたため、出家は権力放棄の保証にならなかった。また、万一に守仁親王が薨じた場合、中継ぎとして即位した後白河天皇の脆弱な立場の根底が崩れ、家長として崇徳院が院政を行う可能性を排除できなかった[13]。柳田（上皇の暗殺地とされる）

23日、崇徳院は武士数十人が囲んだ網代車に乗せられ、鳥羽から船で讃岐国へ下った。天皇もしくは上皇の配流は、藤原仲麻呂の乱における淳仁天皇の淡路国配流以来、およそ400年ぶりの出来事だった。同行したのは寵妃の兵衛佐局と僅かな女房だけだった。その後、二度と京の地を踏むことはなく、8年後の長寛2年（1164年）8月26日、46歳で崩御した。一説には、京からの刺客である三木近安によって暗殺されたともされ、その地に柳田（大正10年1月府中村建立北緯34度17分46.82秒 東経133度55分1.45秒）として石碑が立っている。
配流先での生活

『保元物語』によると、崇徳院は讃岐国での軟禁生活の中で仏教に深く傾倒して極楽往生を願い、五部大乗経[14]の写本作りに専念して（血で書いたか墨で書いたかは諸本で違いがある）、戦死者の供養と反省の証にと、完成した五つの写本を京の寺に収めてほしいと朝廷に差し出したところ、後白河院は「呪詛が込められているのではないか」と疑ってこれを拒否し、写本を送り返してきた。これに激しく怒った崇徳院は、舌を噛み切って写本に「日本国の大魔縁となり、皇を取って民とし民を皇となさん」「この経を魔道に回向（えこう）す」と血で書き込んだ。そして崩御するまで爪や髪を伸ばし続けて夜叉のような姿になり、後に天狗になったとされている。また崩御後、崇徳の棺から蓋を閉めているのにもかかわらず血が溢れてきたと言う。

一方『今鏡』「すべらぎの中第二　八重の潮路」では、「憂き世のあまりにや、御病ひも年に添へて重らせ給ひければ」と寂しい生活の中で悲しさの余り、病気も年々重くなっていったとは記されているものの、自らを配流した者への怒りや恨みといった話はない。また配流先で崇徳院が実際に詠んだ「思ひやれ　都はるかに　おきつ波　立ちへだてたる　こころぼそさを」[15]という歌を見ても、悲嘆の感情はうかがえても怨念を抱いていた様子はない。承久の乱で隠岐国に配流された後鳥羽上皇が、「われこそは　にゐじま守よ　隠岐の海の　あらきなみかぜ　心してふけ」[16]と怒りに満ちた歌を残しているのとは対照的である。

崇徳院は、配流先の讃岐鼓岡木ノ丸御所で国府役人の綾高遠の娘との間に1男1女をもうけている。
怨霊伝説讃岐に流された崇徳上皇（歌川国芳画）白峯神宮（京都市）崇徳天皇白峰御陵『椿説弓張月』より崇徳上皇が@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}讃岐で崩御し、怨霊になる瞬間を描いた一場面[要出典]（歌川芳艶画）

保元の乱が終結してしばらくの間は、崇徳院は罪人として扱われた。それは後白河天皇方の勝利を高らかに宣言した宣命[17]にも表れている。崇徳院が讃岐国で崩御した際も、「太上皇無服仮乃儀（太上皇（崇徳上皇）、服仮（服喪）の儀なし）」[18]と後白河院はその死を無視し、「付国司行彼葬礼、自公家無其沙汰（国司を付けてかの（崇徳上皇）の葬礼を行い、公家よりその沙汰なし）」[19]とあるように国司によって葬礼が行われただけで、朝廷による措置はなかった。崇徳院を罪人とする朝廷の認識は、配流された藤原教長らが帰京を許され、藤原頼長の子の師長が後白河院の側近になっても変わることはなかった。当然、崇徳院の怨霊についても意識されることはなかった。

ところが安元3年（1177年）になると状況は一変する。この年は延暦寺の強訴、安元の大火、鹿ケ谷の陰謀が立て続けに起こり、社会の安定が崩れ長く続く動乱の始まりとなった。『愚昧記』安元3年5月9日条には「讃岐院ならびに宇治左府の事、沙汰あるべしと云々。これ近日天下の悪事彼の人等所為の由疑いあり」とあり、以降、崇徳院の怨霊に関する記事が貴族の日記に頻出するようになる。『愚昧記』5月13日条によると、すでに前年には崇徳院と藤原頼長の怨霊が問題になっていたという。安元2年（1176年）は建春門院・高松院・六条院・九条院が相次いで死去している。後白河や忠通に近い人々が相次いで死去したことで、崇徳や頼長の怨霊が意識され始め、翌年の大事件続発がそれに拍車をかけたと思われる。崇徳の怨霊については、『吉記』寿永3年（1184年）4月15日条に藤原教長が崇徳院と頼長の悪霊を神霊として祀るべきと主張していたことが記されており、かつての側近である教長がその形成に深く関わっていたと見られる。精神的に追い詰められた後白河院は怨霊鎮魂のため保元の宣命を破却し、8月3日には「讃岐院」の院号が「崇徳院」に改められ、頼長には正一位太政大臣が追贈された[18]。

寿永3年（1184年）4月15日には保元の乱の古戦場である春日河原に「崇徳院廟」（のちの粟田宮）が設置された。この廟は応仁の乱後に衰微して天文年間に平野社に統合された。また崩御の直後に地元の人達によって御陵の近くに建てられた頓証寺（現在の白峯寺）に対しても官の保護が与えられたとされている。

怨霊としての崇徳院のイメージは定着し、近世の文学作品である『雨月物語』（「白峯」）・『椿説弓張月』などにおいても怨霊として描かれ、現代においても様々な作品において菅原道真や平将門と並ぶ日本三大怨霊として怨霊や祟りのモチーフとして使われている。

その一方で後世には、四国全体の守り神であるという伝説も現われるようになる。承久の乱で土佐国に流された土御門上皇（後白河院の曾孫）が途中で崇徳天皇の御陵の近くを通った際にその霊を慰めるために琵琶を弾いたところ、夢に崇徳天皇が現われて上皇と都に残してきた家族の守護を約束した。その後、上皇の遺児であった後嵯峨天皇が鎌倉幕府の推挙により皇位に就いたとされている。また、室町幕府の管領であった細川頼之が四国の守護となった際に崇徳天皇の菩提を弔ってから四国平定に乗り出して成功して以後、細川氏代々の守護神として崇敬されたと言われている（ともに『金毘羅参詣名所図会』・『白峰寺縁起』[20]）。

明治天皇は慶応4年（1868年）8月18日に自らの即位の礼を執り行うに際して勅使を讃岐に遣わし、崇徳天皇の御霊を京都へ帰還させて飛鳥井家の邸宅の地に白峯神宮を創建した。

昭和天皇は崇徳天皇八百年祭に当たる昭和39年（1964年）に、香川県坂出市の崇徳天皇陵に勅使を遣わして式年祭を執り行わせている。
血書五部大乗経

『保元物語』にある五部大乗経の存在を語る唯一の史料は、以下の記事である。『吉記』 寿永2年（1183年）7月16日条
崇徳院讃岐において、御自筆血をもって五部大乗経を書かしめ給ひ、件の経奥に、理世後生の料にあらず、天下を滅亡すべきの趣、注し置かる。