2004年9月、内閣改造により外務大臣を退任（後任は同じ元通産官僚の町村信孝）し、内閣総理大臣補佐官（外交担当）に就任。2005年10月、参議院神奈川県選挙区の補欠選挙に自由民主党公認で立候補し、初当選した。

2007年3月、ギラン・バレー症候群を発症。病状は重度のものではなく、車椅子によるリハビリ生活を送りながら、同年7月の第21回参議院議員通常選挙に比例区から立候補し、再選。

2008年、日豪で呼びかけている賢人会議「核不拡散・核軍縮に関する国際委員会」（ICNND）の共同議長に就任。同年米日財団理事就任。2010年、財団法人[注釈 1]東芝国際交流財団評議員[5] 就任。

2011年4月14日、東日本大震災の復興補正予算が議論される中、復興予算捻出のためのODA削減案に反対する超党派の勉強会に参加した[6][7]。同年より公益財団法人笹川平和財団理事。

2013年4月23日、アジア平和・和解評議会の一員として、中国の中華人民外交学会の招聘により訪中する。滞在は、4月24日までの予定も、楊潔?国務委員（副首相級、外交担当）との会談のため、25日まで滞在の延長を、参議院議院運営委員会に申請するも認められなかったが、滞在の延長を決める[8]。結果として、25日開催予定であった参議院環境委員会が流会となった、同年5月7日、民主党などの野党7党が参議院に川口に対して環境委員長解任決議案を提出し[9]、5月9日の参議院本会議において解任決議案が投票総数230票、賛成123票、反対107票となり[10]、野党8党の賛成多数で可決した。衆参通じて国会の常任委員会委員長が解任されたのは憲政史上初めて。この解任案について主要全国紙は批判する社説を掲載した[11][12][13][14]。川口は中国要人との会談の国益を主張して野党の対応を批判し[15]、首相の安倍晋三が「尖閣諸島の問題も議論された。日本の立場を主張するのは有意義だった」と川口を擁護した一方、民主党幹事長の細野豪志は、この訪中は「公務でなく個人的な渡航」であり「委員長は国会運営に大きな責任を持つ立場であり、帰ってくるべきだった」と批判[16]、日本維新の会国会議員団幹事長の松野頼久は「立法府の常任委員長にとって委員会審議以上に重要なことはない。あくまで外交権は政府に属する。そこはちょっと勘違いされている」と述べている[17]。なお、そもそも楊との「会談」がどのようなものであったのか明らかにされておらず、日中外交筋は「握手して立ち話をした程度。国益上、必要な会合だったとは思えない」と語ったと報道されている[18]。

2013年7月の第23回参議院議員通常選挙には立候補せず、政界を引退した[19]。同年6月、認定特定非営利活動法人言論NPOアドバイザリーボード[20] 就任。明治大学国際総合研究所客員教授を経て、2013年11月に明治大学国際総合研究所特任教授（2018年まで。同研究所が閉鎖のため[21]）、明治大学研究・知財戦略機構特任教授に就任[22]。2014年6月には豊田通商株式会社取締役にも就任した[2]。2015年6月にはさらに石油資源開発株式会社取締役に就任した[2]。

2017年4月29日付の春の叙勲で、旭日大綬章を受章[23][24]。

2018年4月、武蔵野大学客員教授および武蔵野大学国際総合研究所フェロー（2019年11月現在、現職）[3]。

2018年、石油資源開発株式会社取締役を辞任[25]。