このため、1657年（明暦3年）、39歳で岡山城下を離れ、知行地の和気郡寺口村（現・岡山県備前市蕃山）[3]に隠棲を余儀なくされた。

岡山城下の屋敷があった場所は、現在、岡山市北区蕃山町となっている。熊沢蕃山宅跡は、2015年4月24日に「近世日本の教育遺産群?学ぶ心・礼節の本源?」の構成文化財として日本遺産に認定されている。
浪々・晩年

明暦3年（1657年）幕府と藩の反対派の圧力に耐えがたく、遂に岡山藩を去った。

万治元年（1658年）京都に移り私塾を開く。万治3年（1660年）には豊後国岡藩主中川久清の招聘を受け竹田に赴き土木指導などを行った。寛文元年（1661年）京都に居を移し、多数の家下・武士・町人に師事された。その名声が高まるにつれ再び幕府に監視されるところとなり、とうとう時の京都所司代牧野親成により京都から追放された。

寛文7年（1667年）には大和国吉野山（奈良県吉野郡吉野町）に逃れた。さらに山城国鹿背山（現・京都府木津川市）に隠棲する。寛文9年（1669年）51歳の時、幕命により播磨国明石藩主松平信之の預かりとなった。このとき太山寺（現神戸市西区）に幽閉される。以後著述に専念した。『集義和書』を1672年（寛文12年）に刊行し、山・川・森を治めることを国土経営の基本とする考えをといた『集義外書』を1679年（延宝7年）に著した。[4]。

延宝7年（1679年）信之の大和郡山藩転封に伴い、大和国矢田山（現・奈良県大和郡山市）に移住する。天和3年（1683年）には大老堀田正俊の招聘を受けたが辞退している。岡山藩致仕後、浪々の中で執筆活動とともに幕府の政策、特に参勤交代や兵農分離を批判し、また岡山藩の批判をも行った。

貞享4年（1687年）、『大学或問』が幕政を批判したとされ、蕃山は69歳の高齢にもかかわらず、幕命により、松平信之の嫡子である下総国古河藩主・松平忠之に預けられ、古河城内の竜崎頼政廓に蟄居謹慎させられた。しかし、蕃山の治山治水の技術は古河藩でも頼りにされ、家老や藩士たちを指導することがあったらしい。古河市内の関戸には「蕃山溜」と呼ばれる溜池が残されている。また比較的自由に領内を歩き回れたようで、仕事帰りの農夫に呼びかけたものとされている自筆の詞句も残されている。[5]

元禄4年（1691年）病を得て古河城にて逝去。享年73。
死後

蕃山の遺骸は忠之により茨城県古河市大堤にある鮭延寺に手厚く葬られた。墓碑銘は当初「息游軒墓」とあったが、後に「熊沢息游軒伯継墓」と刻まれた。

幕末、蕃山の思想は再び脚光を浴びるところとなり藤田東湖、山田方谷、吉田松陰などが傾倒し、倒幕の原動力となった。また、勝海舟は蕃山を評して「儒服を着た英雄」と述べている。

明治43年（1910年）江戸時代の学問を興隆させた功績により正四位が贈呈された。大正時代、娘が嫁いだ近江の蓬?駅の山側に蕃山堂があった。
尊王論

『集義和書』において、次のように説いた。

「天照皇は地生にをはしまさず。神武帝、其御子孫にして天統（てんとう）をつぎ給へり。（中略）然ども一度（ひとたび）ただ人となりぬれば、天統をつがず地生（ちせい）にひとしきゆへに、天下をとりても帝王の号を得事不叶（うることかなわず）(巻八)。」「代（よ）をかさねて天下をたもつは天の廃する所なりといへり。しかれ共、王者は天神の御子孫にして地生にあらず。ことに日本においては広大の功徳をはします故、（中略）いつまでも日本の主（あるじ）にてをはします道理にありて侍り。武家もたとひ天威のゆるし有とも、みづから王と成（なり）てはむつかしき事也（同上）。 」

こうして、神武天皇の子孫である天皇が日本の帝王であり、将軍は「天下」の支配者ではあっても「日本」の支配者にはなれず、あくまで天皇の臣に留まるとした[6]。
著書

『集義和書』

『集義外書』

『大学或問』

『易緊辞伝』

『源氏外伝』（源氏物語の注釈書）

『大和西銘』（やまとせいめい）最初の著作、1650年、32歳の時刊行

系譜

野尻氏将監━━久兵衛重政━━藤兵衛一利━━蕃山

熊沢氏新左衛門廣幸━━八左衛門廣次━━平三郎守次━━半右衛門守久━━亀女━━蕃山

脚注[脚注の使い方]^ 祖父ではなく祖母方という説もある。岡田俊裕『日本地理学人物事典 <近世編>』原書房 2011年 13ページ
^ 『日本思想大系30 熊沢蕃山』岩波書店、1971年、525-526p
^ 寺口村を蕃山（しげやま）村（現・備前市蕃山）と改名し、蕃山と号した（e-Bizen Museum 備前玉手箱＜閑谷学校ゆかりの人々＞熊沢蕃山、備前市ホームページ（2019年12月3日アーカイブ） - 国立国会図書館Web Archiving Project、2013年10月26日閲覧）。