永禄11年（1568年）、飯野地区への攻略に乗り出し、菱刈氏攻略中で留守の島津義弘の飯野城を伊東祐安に攻めさせたが、義弘がこれに気付いたため睨み合いとなり、飯野・田原陣に桶平城を築城し佐土原遠江守を入れ駐屯させる。しかし、遠矢良賢らの釣り野伏せに掛かるなど成果は上がらず、また家督を譲っていた次男・義益の急死もあり、やむなく桶平城に火を放ち軍勢を撤退させる。だが、桶平城は菱刈・相良両氏支援のための城でもあったにもかかわらず、相良氏に一切通告しないまま撤兵したことから相良氏の遺恨を買うことにもなった[2]。

そして元亀3年（1572年）5月、島津貴久の死去と肝付氏の侵攻により動揺している島津氏の加久藤城を相良義陽と連携して攻めた際に、伊東側は3,000の軍勢がありながら、島津義弘率いる300の軍勢に敗れる（木崎原の戦い）。伊東祐安、伊東祐信ら五人の大将をはじめ、落合兼置、米良重方など伊東家の名だたる武将が討死してしまった。これ以降、真幸院攻略の戦いは頓挫することとなる。
伊東崩れ

木崎原での大敗を契機として、義祐の勢力は次第に衰退してゆく。まず、木崎原の戦いから4年後の天正4年（1576年）には、伊東四十八城の一つである長倉祐政が治める高原城が島津義久の3万の兵に攻められる。義祐は援軍を出すも圧倒的な兵数差のため一戦も交えず、高原城は水の手を断たれやむなく降伏する。その翌日には小林城と須木城を治める米良矩重が義祐への遺恨から島津に寝返り、後難を恐れた近隣の三ツ山城、野首城、更に三ツ山と野尻の堺にある岩牟礼城までも島津に帰する。これによって島津氏領との境界線である野尻と青井岳が逼迫の事態に陥った。野尻城主・福永祐友は何度も義祐に事態打開を訴え出たものの、直参家臣によって訴えは握り潰されてしまった。義祐の家臣団は、境界の実情を知っていながらも、義祐の栄華驕慢の日々を諫止することが出来なかった。これは義祐が諫言をする家臣を遠ざけ、自分に都合のいい家臣だけを側近にしていたためであったとされる。

翌天正5年（1577年）に入り情勢はますます悪化する。6月には、南の守りの要である櫛間城が島津忠長によって攻め落とされた。義祐は飫肥城主である三男・祐兵に櫛間への出兵を命じたものの、逆に忠長に反撃され、飫肥本城に敗走。敵に飫肥城を包囲されてしまった。また同じ頃、日向北部の国人・土持氏が突如門川領への攻撃を開始したため、伊東家は北は土持、南と北西からは島津氏の侵攻を受けることになったのである。義祐は窮する事態に人心一新を図ったものか、次男・義益の嫡男で嫡孫の義賢に家督を譲る。

同年12月、野尻城主・福永祐友が、島津方である高原城主・上原尚近の説得を受け入れ、島津方に寝返ってしまった。福永氏は伊東氏とは姻戚関係にあった為、この謀反は義祐は勿論、他氏族への大きな衝撃になった。これを知った内山城主の野村刑部少輔文綱（野村松綱の子）、紙屋城主・米良主税助も島津方に寝返った為、佐土原の西の守りは完全に島津氏の手中に収められてしまったのである。さすがの義祐も事態の深刻さを受け止め、12月8日、領内諸将を動員してまず紙屋城奪回の兵を出した。ところが、途中で背後から伊東家譜代臣の謀反の動きを察知。即座に反転して佐土原に帰城した。

翌12月9日、佐土原城で事態打開の評定が開かれた。南の島津方は飫肥を越え、佐土原へ攻め寄せるのは必至な状況で、籠城して島津軍を迎撃する声はなかった。同日、城を包囲されて逃亡してきた祐兵も佐土原城に帰着。もはや義祐には残された選択肢はなかった。同日正午過ぎ、義祐は日向を捨て、次男・義益正室の阿喜多の叔父・豊後国の大友宗麟を頼る決断を下したのであった。

本拠である佐土原を捨て、豊後を目指す義祐一行の進路上に、新納院財部城主・落合兼朝も島津氏に迎合して挙兵した報せが入った。落合氏は伊東氏が日向に下向する以前からの重臣で譜代の筆頭格であったが、義祐の寵臣・伊東帰雲斎の専横が元で子息の落合丹後守を殺されており、それを深く恨んでいた。落合兼朝の裏切りにより、義祐は己の今までの愚行に気付き切腹しようとするが家臣らに止められる。一行は財部に入るのを諦め、西に迂回し米良山中を経て、高千穂を通って豊後に抜けるルートを通ることにした。女子供を連れての逃避行はかなり辛く苦しく、また険峻な山を猛吹雪の中 進まねばならず、当初120?150名程度だった一行は、途中崖から落ちた者や、足が動かなくなって自決したものなどが後を絶たず、また島津からの追撃や山賊にも悩まされ、豊後国に着いた時はわずか80名足らずになっていたという（豊後落ち）。その中には後に天正遣欧少年使節の一人となる伊東マンショの幼い姿もあった。

豊後に到着した義祐は大友宗麟と会見し、日向攻めの助力を請うた。宗麟はその願いを受け、また自身も日向をキリスト教国にする野望を抱き、天正6年（1578年）に門川の土持氏を攻め滅ぼし、耳川以南で島津氏と激突（耳川の戦い）。しかし大友氏は島津氏に大敗を喫してしまう。大友氏の大敗は、居候同然の義祐一行への風当たりに繋がり、また宗麟の息子・義統が祐兵夫人・阿虎の方を奪おうとしているとの噂があったため、義祐は子の祐兵ら20余人を連れ（義賢は大友に残される）伊予国に渡って河野氏を頼り、河野通直の一族・大内栄運の知行地に匿われた。

その後、天正10年（1582年）に義祐らは伊予から播磨国に渡る。ここで祐兵は織田信長の家臣・羽柴秀吉に仕えていた同族の伊東長実の縁を得て、その斡旋で秀吉の扶持を受けるようになった。
最期

祐兵の仕官を見届けた義祐は暫く播磨に留まっていたが、天正12年（1584年）祐兵の付けた供の黒木宗右衛門尉と共に中国地方を気儘に流浪し、やがて周防国山口に至って旧臣宅に滞在した。

その後は黒木を撒いて独りで旅をしていたが、病に侵され祐兵の屋敷のある堺へ向かった。しかし便船の中で病衰し、面倒を嫌った船頭に砂浜に捨て置かれた。偶然にもそれを知った祐兵の従者（祐兵夫人らとの説も）に発見され、堺の屋敷で7日余り看病を受けたものの、甲斐無く死去した。享年73。
人物

奢侈に溺れ、国を追われた事で知られるが、中でも仏事への傾倒が最も深刻な問題であった。天文20年（1551年）には大和国から仏師を招聘して大仏を造立し、また金閣寺を模して金柏寺（きんぱくじ）なる寺を建て、日夜念仏や法談に励んだという。