ニューヨーク・フラッシング地区生まれ。1948年にロサンゼルスへ一家で引っ越す。ノース・ハリウッド高校を卒業後、カリフォルニア大学ロサンゼルス校で亡命ユダヤ系イタリア人作曲家のカステルヌオーヴォ＝テデスコに師事。1952年にアメリカ空軍に徴兵される。アメリカ空軍では音楽隊に所属し編曲と指揮を担当。1955年に兵役を終えジュリアード音楽院ピアノ科へ進学し、ロジーナ・レヴィーンに師事。在学時よりジャズピアニストとして活動。

ブレイク・エドワーズ監督のテレビシリーズ『ピーター・ガン』（1958年）のサウンドトラック（ヘンリー・マンシーニ作曲）にピアニストとして参加。1965年から編曲家・オーケストレーターのハーバート・W・スペンサー（英語版）との共同作業を開始し、そのコラボレーションは1992年にスペンサーが亡くなるまで続いた。大学時代にテデスコの許でオーケストレーションを含む様々な作曲法を勉強し、コラボレーションに頼らずとも作品を完成させることが出来たが、ハリウッド映画産業の慣例で作曲家組合、編曲家組合のそれぞれの組合員の仕事の範疇が厳格に規定されているためそれに従った。エイヴリー・フィッシャー・ホールにて、『レイダース/失われたアーク《聖櫃》』の総譜を指揮するウィリアムズ。

アーウィン・アレン監督のテレビシリーズ『宇宙家族ロビンソン』（1965年）、『タイムトンネル』や映画『チップス先生さようなら』（1969年）、『屋根の上のバイオリン弾き』（1971年、アカデミー編曲賞）、『ポセイドン・アドベンチャー』（1972年）等の音楽担当として注目され、スティーヴン・スピルバーグ監督の『ジョーズ』（1975年）の音楽がアカデミー作曲賞を受賞。