立川市立立川第四小学校[3]、立川市立立川第一中学校卒業[3]。大成高等学校（三鷹市）卒業[3]。

少年時代に白黒テレビを見て「この小さな箱がどうやって映るんだろう。いつかこの小さな箱に入ってみせるぞ」と考え、これが演劇の世界に入る遠因となったとしている[注釈 1]。だが、少年時代は演劇などよりも大鵬の土俵入りの流麗さにあこがれ、相撲の力士になりたかったという[6]。趣味は手品をすることである。猫を飼っている[7]。
デビュー

1965年、12歳のとき演劇に興味を持ち劇団ひまわりへ入団する[3]。

1967年、同じ劇団ひまわりの江木俊夫主演のマグマ大使第9話にマモルの同級生役として出演。これにて俳優デビュー。

1968年、フジテレビの『バンパイヤ』のオーディションを受け、主役に抜擢される[3]。第一話では原作者・手塚治虫との共演を果たしている。1970年には『その人は女教師』（共演：岩下志麻）で映画デビューを果たす。

しかし「小さな箱に入る」という目的を達成し、高校入学後に自分にはもっと合った世界があると思っていたことと、大学受験も考えていたため、劇団ひまわりを退団し一度芝居を辞めた[3][5]。

その後、東京商船大学（現・東京海洋大学）受験に失敗し、働きながら浪人生活を始めるが、あるときに「こんなことやっていてもいいのか?」という気持ちに強烈に襲われ、「来年もう一度受けるといってもそれまで自分のこの状態じゃ持たない」と思い発作的に2ヶ月ほど家出をした。その際、はじめは行くあてもなかったため、家の近所の公園の滑り台の上で野宿していたという。その後山梨県山中湖までたどり着き、湖畔のレストハウスで2ヵ月間働く[3]。
活動再開

2年間のブランクを経て1972年『泣くな青春』（フジテレビ）で芸能活動を再開[5]。7月スタートの日本テレビのドラマ『太陽にほえろ!』第1回に犯人役で出演[注釈 2]。

その後、小学校・中学校時代からの同級生であり、学園ものの撮影で一緒になったコントロールプロダクションの女性会長が、夫である日本テレビプロデューサーに『傷だらけの天使』に推薦し「もう一度役者をやらないか」と誘われ、アルバイト感覚で役者の世界に戻った。1974年10月、萩原健一主演の『傷だらけの天使』への出演が決定。

最初に萩原の相手役候補に名前が挙がったのは、火野正平だった[8]。だが、火野は大河の『国盗り物語』で人気になった直後のためスケジュールが取れず、面接した監督の恩地日出夫もイメージが違うと判断した。そこで萩原が『太陽にほえろ!』第1話で共演した水谷を推薦し、抜擢された。水谷は俳優として不遇な時期が何年も続き、そのころ俳優を辞めようと思っていたという[9]。萩原は「豊ちゃんは、ひたむきだし、いつも一生懸命やる子だった」と述懐している[9]。同作品は深作欣二、神代辰巳、恩地日出夫ら名だたる映画監督が演出を担当したが、当初は視聴率が伸び悩んだ。しかし視聴率も上向き、視聴者からも高く評価され、放送終了後も「名作」としてテレビの歴史に残っている。

この作品でコンビを組んだ萩原を「永遠の兄貴」だと語っている。共演した岸田森に「豊には見ている人にその役が素だと思わせるような役者になってほしい。豊はそれが出来るやつだと思っている」と助言をされ、その言葉を今も大切に思っている。松田優作が酔っぱらって萩原とケンカをしてしまった時には、水谷に「また健ちゃんとケンカしちゃったよ」と相談していたという。水谷は毎日新聞のインタビューで本作について「これ（『傷だらけの天使』）がなければ今の僕はないですよ。萩原（健一）さんがいたから僕は（この作品を）出来たんで」と語っており[10]、本作で共演した岸田森が1982年に他界した時には萩原と「二人でいつか何かやろう」と語り合っていて、それが（萩原の死で）ついに果たせなかった心残りがあることも明かしている[10]。

1974年には日本テレビの大作ドラマ『水滸伝』に、徽宗皇帝役で出演。出番は少ない、特別出演的なものだが、日本人俳優がメジャー作品で実在の中国皇帝を演じた希少な例となっている。

1975年の映画『東京湾炎上』では、脚本を読んで予定の役柄とは逆の立場のテロリスト役を志願した。日本人が、大義のために同胞の日本人を追いつめる役を演じた。

1976年には長谷川和彦の監督映画『青春の殺人者』でキネマ旬報賞主演男優賞を最年少で受賞する[11]。

1977年に放送された実相寺昭雄と岸田森が演出した水谷豊のCMでの「アラン・ドロンかな?」というセリフが流行語になった[12]。

同年の『赤い激流』でピアニスト役を演じた。35万円でピアノを購入、全くの素人だったが猛練習の末、4日目には「エリーゼのために」を全曲弾けるようになりピアノの先生に驚かれた事を自慢としている[13]。『赤い激流』で「英雄ポロネーズ」を弾いたが、『相棒』シーズン3第15話「殺しのピアノ」（2005年）で再び同じ曲を弾く場面を演じる事となった。

1978年10月、最高視聴率46.7%を記録したドラマ『熱中時代（教師編）』の主演で大ブレイク、視聴率の取れるテレビ界の有名俳優となった。主人公・北野広大のキャラクターが「理想の教師像」として社会現象となったり、特徴的な訛りのある口調が流行となるなど、ファンの幅を広げた。この人気を受けて『熱中時代』のタイトルだけを継承し、設定を一新した『熱中時代（刑事編）』もその後放送された。更に『教師編』は後に続編が1作、単発の2時間スペシャルドラマが3本作られた。武田鉄矢は「金八先生のライバルだった小学校教師」と言っている（なお、後に水谷の娘趣里は、2011年にオーディションを経て『3年B組金八先生ファイナル?「最後の贈る言葉」4時間SP』（TBSテレビ）で女優デビューしており、実年齢より5歳下で、坂本金八に恋する中学生の役を演じているが、この時、武田鉄矢は「金八のライバルだった小学校教師の娘」と表現している）。

1981年には久々の映画『幸福』で、長年望んでいた市川崑の監督作品に主演。二人の子供を持つ、実年齢よりかなり上の刑事役を落ち着いた演技でこなし（翌々年の『逃れの街』では若者の役に戻っている）後年につながる新境地を示す。5年ぶりの主演映画は前作のキネマ旬報ベストテン1位に続いて同6位に入選する高評価を受けた。
1990年代以降

2時間ドラマ（『地方記者・立花陽介』、『探偵 左文字進』など）もシリーズ化され、『刑事貴族』や『相棒』といったレギュラードラマで主演俳優を務め、今なお、幅広い層から支持を受けている。

2008年5月10日、『相棒』においての演技が評価され同じく主演を務める寺脇と共に第16回橋田賞俳優部門を受賞した[14]。

2008年12月10日平成20年度の『ゆうもあ大賞』（理事長 大村崑）を受賞[15]、副賞の「舞昆」の京風おせちを受け取ると「正月に蘭さんといただきます」と、照れながら受賞コメントを述べた。

2009年9月12日に放送されたスペシャルドラマ『だましゑ歌麿』で17年ぶりに時代劇に出演したが、水谷は「周囲から『時代劇と戦争物は似合わない』と思われているんじゃないかと思っていた」という[16]。