東京府荏原郡大井町（現在の東京都品川区東大井）の学校法人日本体育会（現：日本体育大学）敷地にて、4男4女の末っ子として生まれる。父親は秋田県大仙市（旧中仙町）出身の元軍人、体育教師、学校法人日本体育会理事。黒田小学校を経て、1928年、京華中学校卒業。画家を志して日本プロレタリア美術家同盟に参加、洋画家の岡本唐貴（白土三平の実父）に絵を教わる。1936年、画業に見切りをつけて26歳でP.C.L.映画製作所（現在の東宝）に入社。主として山本嘉次郎の助監督を務める。
1943年、『姿三四郎』で監督デビュー。以後、終戦を挟んで『一番美しく』『わが青春に悔なし』『素晴らしき日曜日』『醉いどれ天使』『野良犬』などの社会派ヒューマンドラマの佳作を次々と発表し、東宝の看板監督の一人となる。
また山本が参加していたオーディションで、三船敏郎をたまたま目撃。本来は落選となっていた三船だが、一目ぼれした黒澤は山本に直訴までして採用。三船のデビュー作『銀嶺の果て』では既に脚本を務めた（主演は志村喬）。三船のデビュー3作目『醉いどれ天使』からは、黒澤監督作品の常連俳優となった。
自身の映画制作1950年に大映で撮影した『羅生門』（原作は芥川龍之介の『藪の中』。佐伯清の元でシナリオライターの修行をしていた橋本忍の作成した『藪の中』を脚色した脚本に黒澤が関心を抱き、橋本を共同脚本家として抜擢。その後、同じ芥川の小説の『羅生門』を加えて完成した）は1951年にヴェネツィア国際映画祭金獅子賞を受賞。その映像感覚が国際的に注目される。続けてドストエフスキー原作の『白痴』（1951年）やヒューマンドラマの傑作『生きる』（1952年）を発表し、後者でベルリン国際映画祭上院特別賞を受賞。
1954年に発表した大型時代劇『七人の侍』は大ヒットし、ヴェネチア国際映画祭銀獅子賞を受賞するなど国際的評価も受ける。シェイクスピアの『マクベス』を日本の戦国時代を舞台に翻案した『蜘蛛巣城』（1957年）や娯楽時代活劇『隠し砦の三悪人』（1958年）を作成後に、独立プロダクションである黒澤プロを設立。時代活劇の傑作『用心棒』（1961年）『椿三十郎』（1962年）、社会派サスペンスの傑作『天国と地獄』（1963年）を立て続けに発表し大監督の名声を確定させる。
黒澤プロの設立は、黒澤監督の意向によるものというより、『隠し砦の三悪人』の大幅な撮影予定期間オーバーによる予算超過に業をにやした東宝側が、黒澤にリスク負担させることにより枷をはめようとしたものであり（収益の分配も東宝側に非常に有利な契約になっていた）、「天国と地獄」までの作品はその皮肉な成果といえよう。枠をはめられる事を嫌っていた黒澤がその完全主義を徹底させた『赤ひげ』（1965年、 山本周五郎原作）は、撮影期間約1年を要して大幅な予算超過となり、東宝との関係を悪化させることとなった。
ハリウッドからのオファーを受けるようになった黒澤は『赤ひげ』の撮影後、アメリカで『暴走機関車』の制作を準備、主演にピーター・フォークとヘンリー・フォンダ、撮影監督にオスカー受賞者ハスケル・ウェクスラーが決定していたが、制作方針を巡りアメリカ側プロデューサーのジュセフ・E・レヴィンと深刻な対立が生じたために頓挫（後にアンドレイ・コンチャロフスキーが黒澤の脚本を原案として映画化）。1968年に日米合作『トラ・トラ・トラ!』の日本側監督を務めることになったが、製作会社の20世紀フォックスと、撮影スケジュール等の問題から激しく衝突。監督を降板させられた。この事件は黒澤に精神的打撃を与えたとされており、2年後に自殺未遂事件を起こす。そして日本の映画産業の衰退の時期と重なったこともあり、この後は5年おきにしか新作が撮れなくなる。
1975年にソビエト連邦から招かれ（日本のヘラルド映画社がロシア側に接触して「黒澤を招いた」という形になるようお膳立てした）、ごく少数の日本人スタッフを連れてソ連に渡り『デルス・ウザーラ』を製作。ソビエト連邦の官僚体制の中で思うように撮影が進まず、シベリアのタイガでのロケ撮影は困難を極めた。