永正5年（1508年）、今川義忠の子氏親が再び遠江に侵攻して同国の守護職を獲得すると、吉良氏は浜松荘を守るために再び代官を親今川の飯尾氏に交替させた。親斯波の大河内氏は今川氏への抵抗を続け、飯尾氏の本拠引間城を奪い遠江復帰を図る斯波義達を迎え入れたことから、今川氏親は永正14年（1517年）に引間城を奪還して大河内・巨海氏らを滅ぼした。この間吉良氏は大河内氏を抑えることはせず、といって飯尾氏を積極的に支援する姿勢も示さず、今川・斯波両氏の抗争の間で遠江の所領支配を確保するため柔軟に対応していたと見られる。しかし、斯波義達は捕らえられて本国尾張国に送還され、浜松荘代官の飯尾賢連は今川氏に属することとなった。

西条吉良義信は明応の政変後の足利将軍家の家督争いで足利義尹（義稙）派に属し、永正5年の義稙の将軍復帰に功績があったとして三河守護に任じられたとする説がある[11][12]が、吉良氏の在京奉公は義稙政権の弱体化が進むにつれて次第に確認されなくなっていく。同じ時期に吉良氏は今川・斯波氏の抗争の板挟みとなり、ついには遠江が今川氏の分国となった結果、西条吉良義尭は残された所領のある三河に下国して現地支配に専念する方針に転換した[13]。なお、今川氏の系譜から今川氏親の長女が義尭の正室であったことが判明している[14][15]。吉良氏を圧倒する勢力に成長したとはいえ、下剋上との批判を避け領国支配の安定を図るためにも、今川氏としては本家である吉良氏との良好な関係を維持する必要があったとみられる[14]。

残る本領の三河においては、東条吉良氏から偏諱を受ける立場だったとされる[注釈 2]安祥松平家の松平清康（徳川家康の祖父）が台頭してきたが、天文4年（1535年）12月に清康が斃れると、今度は尾張国の織田信秀の勢力が西三河に及びはじめ、小林輝久彦によれば、西条吉良義郷は天文9年（1540年）に信秀の侵攻を受けて戦死した可能性があるという[18]。

享禄・天文初年のころ、東条吉良氏では持広が西条吉良義尭の子義安（義郷の弟）を養嗣子に迎え、東西両吉良氏の近親関係が再生していた。しかし、東条当主となった義安は今川氏への対抗を図り、三河支配を目論む織田氏に加担する。義安は義尭の側室の子と見られ正室（今川氏）の血を引いていなかったようだが、養家の東条吉良だけでなく実家西条吉良の家督をも望んで西条重臣と争った形跡があることから、親今川の西条重臣に対抗するために織田氏と結んだ可能性も指摘されている[19]。西条吉良氏は義昭（義安の弟）が跡を継いだが、両吉良氏は近親関係となってもなおこのように分裂含みの状況にあった。義安は天文18年（1549年）に今川義元に敗れて捕らえられ駿河に抑留されることとなり、西条吉良義昭が東条家も併せて継ぐよう今川氏に命じられた。こうして今川氏の影響下で統一された吉良氏は、今川氏へ隷属する立場に甘んじた。ただし、小林輝久彦は、天文23年（1554年）に義安がいったん今川氏に許されて両吉良氏を継いだものの、弘治元年（1555年）に再度叛旗を翻した結果、義昭が継承する地位に立ったと見る[20][注釈 3]。

当時の今川氏にとって吉良氏の存在は、家格秩序の上から悩みの種だったようである。今川義元の重臣太原雪斎の天文18年（1549年）9月5日付書状は吉良氏当主を「御屋形様」と呼んでいる上、宛先も当主本人ではなく「西条諸老」すなわち西条吉良氏家老宛としている。現実の世界では今川氏は駿河・遠江・三河3か国を支配しており、弱小勢力の吉良氏はその下に従属しているにもかかわらず、書札礼の世界では雪斎は義安の陪臣（家来の家来）として振る舞わなければならなかった[22]。

吉良義昭は今川義元の周旋により、尾張守護斯波義銀及びこれを擁する織田信長と誼を結ぼうとしたものの、義銀と会見の席次を巡る争いを起こしている[注釈 4]。その後、桶狭間の戦いで義元が信長に討ち取られ、三河国から今川氏の勢力が後退すると、その支配を目指す松平家康（のちの徳川家康）と義昭は対立することになる。義昭は善明堤の戦いや藤波畷の戦いを経て家康に降伏する。永禄6年（1563年）、三河一向一揆が勃発するとこれに加担して再び家康に敗れ、家康は今川氏の人質時代に面識があったという義安に吉良氏の家督を相続させた[24]。
江戸時代

江戸時代に義安の子義定が松平清康（家康の祖父）の妹を母としていた関係で江戸幕府に取り立てられ、その子義弥の代に旧吉良荘内で3,000石を領し、室町以来の門地の高さもあって高家の家格を付与された。