1959年2月1日から、スクーター、ギターとともに貨物船で単身フランスへ渡る。このとき、アシスタントの小澤を失うことを恐れた齋藤から渡欧に猛反対を受けたが、桐朋の父兄会や水野成夫らから支援を得て、約45万円相当の1200ドルを餞別として受けた[20]。パリ滞在中の1959年に、第9回ブザンソン国際指揮者コンクール第1位。ヨーロッパのオーケストラに多数客演。カラヤン指揮者コンクール第1位。指揮者のヘルベルト・フォン・カラヤンに師事。1960年、アメリカ・ボストン郊外で開催されたバークシャー音楽祭（現：タングルウッド音楽祭）でクーセヴィツキー賞を受賞。指揮者のシャルル・ミュンシュに師事。1961年ニューヨーク・フィルハーモニック副指揮者に就任。指揮者のレナード・バーンスタインに師事。同年ニューヨーク・フィルの来日公演に同行。カラヤン、バーンスタインとの親交は生涯に渡り築かれた。
1960年代

1961年にNHK交響楽団（N響）の指揮者に招かれ指揮活動を開始[注 3]するが、感情的な軋轢のためN響からボイコットを受ける。小澤はたった一人で指揮台に立つという苦い経験をさせられ、指揮者を辞任[22]する。このため日本では音楽活動をしないと決めて渡米した。32年後の1995年1月にNHK交響楽団と共演した。

1964年、シカゴ交響楽団（当時の指揮者はジャン・マルティノン）によるラヴィニア音楽祭の指揮者が急病により辞退。急遽、ニューヨークにいた小澤が開催数日前に招聘され音楽監督として音楽祭を成功に収め、小澤の名声は全米に知れ渡る。シカゴ交響楽団とはRCAレーベル、EMIレーベルに複数の録音を残した。日本人指揮者が海外の一流オーケストラを指揮して海外の一流レコード会社からクラシック音楽録音を海外市場向けに複数発売したことは画期的な出来事であった。

1964年からはトロント交響楽団の指揮者に就任し1968年まで務める[23]。1966年にウィーン・フィルハーモニー管弦楽団を初指揮。

この時期は作曲家の武満徹と親交を大きく持ち、深い友情関係を築いた。武満の死後も武満作品を演奏する機会が多かった。
1970年代

1970年にはタングルウッド音楽祭の音楽監督に就任。同年サンフランシスコ交響楽団の音楽監督に就任し1976年まで務めた。

1972年には、フジサンケイグループによる突然の日本フィルハーモニー交響楽団の解散後、楽員による自主運営のオーケストラとして新日本フィルハーモニー交響楽団を創立。小澤は指揮者として中心的な役割を果たし、1991年に名誉芸術監督に就任、1999年9月から桂冠名誉指揮者となっている。1972年に日本芸術院賞を受賞している[24]。

1973年、38歳のとき、前出のニューヨーク・フィルおよびシカゴ響と共にアメリカ五大オーケストラの一つに数えられるボストン交響楽団の音楽監督（第13代）に就任[23][注 4]。当初はドイツグラモフォンとの契約でラヴェルのオーケストラ曲集、ベルリオーズのオーケストラ曲集など、ミュンシュの衣鉢を継ぐフランス音楽の録音を続けた。その後グスタフ・マーラーの交響曲全集（『大地の歌』を除く）など、フィリップスへの録音を行った。日本のクラシックファンにとっては、日本人指揮者の演奏をアメリカから逆輸入する形で聴くこととなり、また日本人指揮者の演奏が国際的に有名なレーベルから発売されるのは初めてであった。またボストンでの活動が進むにつれウィーン・フィル、ベルリン・フィルハーモニー管弦楽団をはじめとするヨーロッパのオーケストラへの出演も多くなる。

ボストン交響楽団の音楽監督は2002年まで務めたが、一人の指揮者が30年近くにわたり同じオーケストラの音楽監督を務めたのは極めて珍しいことといわれる[25][26]。その30年近くに及ぶ音楽監督期間中、少なくとも1978年3月、1981年秋、1986年、1989年にはボストン響を率いて来日し、日本公演を実施したほか、1979年3月には中国でも同楽団を率いての公演を行っている[23]。

タングルウッドには、小澤征爾の功績を記念して日本の電気メーカーNEC、ソニー元社長の大賀典雄などの援助により“SEIJI OZAWA HALL”が建設された。

なお、アメリカを本拠にしての音楽活動が長かったため、アメリカ国内及び海外のマスコミでは「小澤征爾は日系アメリカ人（Japanese-American）」と記述する例もある[27]。