1972年7月から1986年4月までの13年9ヶ月間、691話にわたって、刑事ドラマ『太陽にほえろ!』で露口の代表作ともなった山村精一警部補（落としの山さん）を演じた。以降しばらく『太陽にほえろ!』のスケジュールのため約10年間映画から遠ざかり、テレビのみの活躍となった[2]。

1973年:大河ドラマ『国盗り物語』に出演。同ドラマの原作の一つとして取り入れられた、『梟の城』の主人公であり織田信長の命を狙う忍者・葛籠重蔵を演じた[注 8]。この年『木曽街道いそぎ旅』にも山口崇とのダブル主演で出演、露口は、「三枚目で売り出したいと、事務所と話し合っていたときにこの役が来た。」と語り、演じる以上は最高に無口な、ニヒルな男を目指したという[28]。

1974年:必殺シリーズ『暗闇仕留人』の石屋の大吉役のオファーを承諾したが、最終的には断った[注 9][29]。当時多くの新聞、雑誌などには露口で決定とあり、露口版の設定は妻がいる設定であった[29][30]。同年『編笠十兵衛』に小林平八役で出演。単なる悪役に収まらない、魅力的なキャラクターを演じた[31]。1975年には『影同心』への出演も予定されていたようで、昭和49年12月28日のスポーツニッポン等には、渡瀬恒彦、金子信雄、旧知の仲の山口崇と並んで露口の名前がある。

1976年:大河ドラマ『風と雲と虹と』では、主役の加藤剛演じる平将門に好感を持つ一方で、彼の政治力への懸念と、坂東の大地を将門と朝廷との争いで荒廃させたくないとの判断から、最終回で涙を呑んで将門を弓矢で射殺す重要な役である、関東の豪族・田原（俵）藤太を演じた[32][注 10][注 11]。なお、2016年の大河ドラマ『真田丸』で話題になった「黙れ小童！」というセリフは、『風と雲と虹と』と露口の大ファンであった脚本家の三谷幸喜がセリフを転用したもので、露口へのリスペクトを込めたものであった[33]。

1980年:今村昌平監督『ええじゃないか』[34] で約10年ぶりとなる映画出演を果たし、キネマ旬報助演男優賞の候補者の一人にもなる[35]。向田邦子原作のNHKドラマ『阿修羅のごとくパート2』で緒形拳の演じた里見鷹男の役を引き継いだ[36]。

1981年:TBSドラマ『父母の誤算』では自身初の連続ドラマでの主役を務めた[注 12]。

1982年フランスの映画情報誌Postif4月号今村昌平特集において、ええじゃないかの劇中写真が使用される形で桃井かおりと共に表紙を飾った[37]。

1983年:TBSドラマ『誰かが私を愛してる』に出演。『週刊テレビ番組』昭和58年1月21日号のインタビューで「ヤマさんとは違う初のシティロマンドラマに大変気持ちが乗っている」こと、最初に話が来たのが前年の夏であったが、その後話が無く、企画が没になったかと思っていた頃、正式なオファーが来たことなどを語った、また撮影中、実際に外国人観光客からホテルマンと間違われることもあった[38]。

1984年:五社英雄監督『北の螢』出演に際し役作りのため、『太陽にほえろ!』の劇中でも少し長髪になっている[注 13]。

1986年4月:放映開始から約14年間ずっと山さん役で出演した『太陽にほえろ!』を、同年4月11日放送の第691話（スペシャル放送）「さらば! 山村刑事」の回を持って殉職という形でついに降板した。その前日の4月10日放送のワイドショー番組『ルックルックこんにちは』のインタビューに答え、山さんが好きであったこと、山さんを降りる寂しさ、そして山さんが重荷であったことを語った[39]。 また雑誌にインタビューには「山さんを愛していたので淋しくなる。」と語った[40]。当初山村刑事が栄転するという形が予定されていたが、露口の希望で殉職という形に変更された[41]。この変更について露口は「転勤で降板という形に対して山さんが首を横に振った。部下が殉職しているのに自分だけ生き残ることに山さんが違うと言った」と話していた[41]。最後のシーンの撮影日（同年3月27日）には前年に太陽にほえろを降板した渡辺徹と太陽にほえろに出演中の地井武男も花を持って駆け付けた[39][40]。