4人兄弟の末っ子として生まれた[7]。1943年（昭和18年）に旧制私立駒込中学校（駒込高等学校）を卒業して、三田の電話局に勤務した。1945年（昭和20年）に通信兵として召集される。戦後は大手町の電話局で、進駐軍を担当した。

帝国劇場で研究生募集のチラシを見たのがきっかけとなり(「23歳の頃に観たトルストイの舞台劇『復活』に感銘を受けたことがきっかけ」とも言われている[8])、1948年（昭和23年）に東京民衆芸術劇場附属俳優養成所に1期生で入所[2]後、1949年（昭和24年）に『風の吹く一幕』で初舞台を踏む[9]。しかし同劇団の創設者である宇野重吉から、大滝の甲高く、かすれた独特の声を指して「おまえの声は壊れたハーモニカのようだから、演劇には向かないと思う」と評され、演出部へ移った[9]。

1950年（昭和25年）の民藝創設に参加し、旗揚げ公演のチェーホフの『かもめ』に出演[10]する。1952年（昭和27年）には『冒した者』の代役に起用されたことがきっかけで俳優に転じ[9]、正式に劇団員となったが長年裏方ばかりの不遇時代が続く。

1970年（昭和45年）の舞台『審判』で初主演に抜擢され[8]、作品のテーマである東京裁判に関する文献を買い込み必死に勉強した。この演技で第5回紀伊國屋演劇賞個人賞を受賞。時に45歳での受賞であった。これが転機となり、以来民藝の看板俳優のひとりとして数多くの舞台に出演した。『巨匠』『浅草物語』『らくだ』などが舞台の代表作であり、演劇賞も多く受賞している（下述）。2011年（平成23年）には多年に亘る演劇活動に対する功績を評価され、文化功労者に推挙された[11]。
映画・テレビドラマなどでの活躍

映画では1952年（昭和27年）に公開した新藤兼人監督の『原爆の子』など民藝がユニット出演した作品などに端役で出演していたが、1955年（昭和30年）の『ここに泉あり』でまともな役を演じた。当時、民藝が日活と提携契約していた関係で1960年代は日活のアクション映画などに、主に悪役で出演した。

1970年代以降も巨悪や黒幕役を数多く演じ、山本薩夫監督の社会派映画『華麗なる一族』『金環蝕』『不毛地帯』で大物政治家を演じる一方、今井正監督の『あにいもうと』では、主人公の父親役でブルーリボン賞の助演男優賞[2]（『不毛地帯』の演技と共に受賞）、キネマ旬報賞の助演男優賞、第1回報知映画賞の助演男優賞を受賞。

映画では市川崑や伊丹十三、篠田正浩作品に常連として出演。特に市川作品では「金田一耕助シリーズ」全5作に皆勤出演した（2006年のリメイク版『犬神家の一族』にも出演している）、伊丹作品ではコミカルな役に起用されていた。1970年代半ばの大作ブームでは引っ張りだことなり、1977年から1979年の3年間で全国公開された大作の8割近くに出演した。

テレビドラマでは、悪役を経て、1970年のドラマ「わが青春のとき」（日本テレビ）で倉本聰作品に初出演[7]。以降、1975年から1981年にかけて地方の巡査を演じた『うちのホンカン』での主演（第1作は第23回日本民間放送連盟賞最優秀賞を受賞した）を筆頭に、倉本作品にも多く起用された。1977年からの8年間にわたっては『特捜最前線』でたたき上げの刑事・船村一平役でレギュラー出演[注釈 3]し、認知度が上がり人気を博した[7]。その後は、徹底した役柄の人物造形に年齢による渋みが加わった[4]。

「飄々（ひょうひょう）としつつも時には激昂する」という独特の芸風が人気を集め、関根勤のモノマネレパートリーの1人としても知られるようになる。モノマネは大滝公認であり（大滝のファンの一部には、「関根は大滝先生を愚弄している」という者もいたが、大滝はこれに対し「あれは演じているのだから良い」と答えたという）、1999年には「真似（まね）して真似され二人旅」で関根との共演を果たしている。

江口隆哉の考案した体操でハップという掛け声を云わされたことからあだ名はハップで、奈良岡朋子などの仕事仲間から長年に渡りこの名前で呼び慕われていた[7]。

2002年（平成14年）から俳優の岸部一徳と共演している大日本除虫菊（金鳥）のCMでは、迫真かつユーモラスな演技を見せ[4]、このCMは2004年（平成16年）に東京コピーライターズクラブ賞のグランプリを受賞した。先述のモノマネも、このCMのセリフが使用されることが多い。

やずやのCMの中では宇野に自らの声を「壊れたハーモニカ」と評された先述のエピソードを吐露している。これは暗に舞台演出家への転向を促されたものであった。大滝自身も自分は声も顔も悪く、若い頃より老け役を演じることが多かったと振り返っており[12]、様々な老人役を演じた。
死去

2011年（平成23年）暮れから体調不良になり、その後病院の診断を受けて2012年（平成24年）2月27日に右肺にがんが見つかった[4][8]。同年6月の舞台『うしろ姿のしぐれてゆくか』への出演を取りやめたため、2011年6月から7月にかけて行われた舞台『帰還』が、最後の舞台出演となった[10]。

主治医から手術や放射線治療を勧められたが、本人は「体へのダメージが大きく、役者復帰に支障が出るから」と拒否し[8]、その後は抗がん剤治療に専念[注釈 4]。入院中は本を読み漁るようになり、次女の勧めで最後に読んだ漫画家・赤塚不二夫のエッセイ本『これでいいのだ』を気に入った[注釈 5]。2012年6月末に間質性肺炎を併発したが病状が安定した9月7日に退院し、自宅療養となった[8]。

がんになる前は60kgあった体重が42kgにまで減っていた[8]。入院中にドラマ出演の依頼があり、その後の生活では「12月と来年1月にはロケだから体力をつけないと」と言ってカツ丼やステーキを食べるなど自分を奮い立たせていた[4]。

しかし10月2日に容態が急変し、同日午後3時17分、肺扁平上皮がんのため東京都内の自宅で死去した[13]。87歳没。大滝の棺には、生前愛用していたセーターや鉛筆、同期女優の奈良岡朋子の手編みのマフラー、代表作『審判』・『巨匠』及び生前いつか演じたいと思い続けていた『なよたけ』の台本、上記の『これでいいのだ』の本が納められた[4]。

同年10月22日港区の青山葬儀所でお別れの会が行われた[4]。