大正13年（1924年）8月に狭心症の発作で失神したこともあり、大正14年（1925年）1月18日から和歌山県の和歌浦や湯崎温泉で療養を行った。同年3月31日に帰京し、快癒後は毎日宮内省に出勤するようになり、5月18日も徳川家理事会を欠席して出勤した。同日19時に東京駅で侯爵李?を見送り、22時に豊多摩郡代々幡町代々木上原1177番地（現在の渋谷区上原）の本邸に帰宅した。その直後、顔面蒼白となり苦痛を訴えたため医師が応急処置を施したが、翌5月19日午前0時10分に死去した。52歳没。死因は心臓麻痺。同日付で勲一等瑞宝章を受章し、特旨により正二位に叙された。遺体は特別列車で菩提寺の長保寺へ移送され、同年6月3日に埋棺式が行われた。戒名は樹徳院殿□城高節大居士。家督は長男の頼貞が継いだ。
人物

乗馬や剣道、柔道に通じる一方で、書籍を愛して南葵文庫を設立し、欧州視察で感銘を受けた公共図書館思想の普及に日本図書館協会総裁として尽力するなどした。

尊皇の念が強く、渋沢栄一の推挙で聖徳太子奉賛会会長を務めるなど聖徳太子の顕彰事業にも参加している。

留学中に見聞した欧州貴族の文化活動に感銘を受けたことにより、帰国後は華族として日本の文化活動を積極的に推進し、東京地学協会会長、海軍協会会長、日本弘道会副会長、明治神宮奉賛会幹事などを務めている。

明治39年（1906年）に養父・茂承の百箇日迫善として慶應義塾図書館へ1万円を寄付するなど学校の発展にも努めた。

兄の徳川達孝や田中芳男、三宅秀ら有志とともに民間での文化財保護運動を推進し、明治44年（1911年）12月には自ら中心となって史蹟名勝天然紀念物保存協会を設立して会長に就任。大正8年（1919年）の史蹟名勝天然紀念物保存法の制定に貢献した。また、平城宮跡の保存運動を推進した奈良大極殿址保存会の会長にも就任している。

留学中に親交を深めた南方熊楠が南方植物研究所の設立資金を集めるために上京してきた大正11年（1922年）には、原敬や大隈重信、幸田露伴らとともに設立発起人に名を連ねて1万円を提供している。また、大正3年（1914年）と大正10年（1921年）には和歌山県西牟婁郡田辺町（現在の和歌山県田辺市）の熊楠邸を訪問している。

栄典

1887年（明治20年）12月24日 - 正五位[5]

1898年（明治31年）6月20日 - 従四位[6]

1903年（明治36年）6月30日 - 正四位

1907年（明治40年）

4月9日 - 木杯一組[7]

6月20日 - 勲一等太極章（高宗より受領）

7月1日 - 勲一等太極章の佩用許可[8]


1909年（明治42年）

4月13日 - 木杯一組[9]

7月10日 - 従三位[10]

9月1日 - 木杯一組[11]


1910年（明治43年）3月25日 - 木杯一組[12]

1912年（明治45年／大正元年）

7月15日 - 銀杯一個[13]

11月4日 - 木杯一組[14]


1913年（大正2年）3月12日 - 木杯一組[15]

1915年（大正4年）

3月18日 - 木杯一組[16]

10月19日 - 銀杯一個[17]