1946年、ウィーン・フィルハーモニー管弦楽団との第二次世界大戦後初の演奏会を前に、戦時中ナチスの党員であった[注 2]ことを理由に、ソビエト連邦の占領軍によって公開演奏停止処分を受けた。しかし、翌1947年には再び処分保留となった。

1948年にウィーン交響楽団の首席指揮者、翌1949年にウィーン楽友協会の音楽監督に就任。また、イギリスのレコード会社EMIの録音プロデューサーのウォルター・レッグの元で、フィルハーモニア管弦楽団との演奏活動およびレコード録音も盛んに行うようになった。1951年、戦後再開したバイロイト音楽祭の主要な指揮者として抜擢される。しかし、翌年には音楽祭を主催するヴィーラント・ワーグナーと演出を巡って対立した。この後、ヴィーラントの死後もバイロイト祝祭劇場に戻ることはなかった。この時期、ウィーン・フィルおよびウィーン国立歌劇場とも断絶状態となっている。

1954年11月、ドイツ音楽界に君臨していたヴィルヘルム・フルトヴェングラーが急逝したことで、翌1955年にフルトヴェングラーとベルリン・フィルハーモニー管弦楽団とのアメリカ演奏旅行の代役を果たし成功をおさめ、この旅行中にベルリン・フィルの終身首席指揮者兼芸術総監督に就任、1989年まで34年もの長期間この地位にとどまった。戦後、フルトヴェングラーの死までカラヤンは同団の指揮台に2?3回しか登場しておらず、急転直下の就任であった。

1957年には同楽団と初の日本演奏旅行を行う（カラヤン自身は1954年、NHK交響楽団を指揮するため単身来日していた）。日本公演ではワーグナーの『トリスタンとイゾルデ』の「前奏曲と愛の死」やブラームスの交響曲第1番などが特に評価され、日比谷公会堂の客席からはすすり泣きさえ聞かれたという[11]。

1956年にはウィーン国立歌劇場の芸術監督に就任した。ベルリンとともに、世界の人気を二分する両オーケストラを同時にたばねることになり（しかも加えてミラノ・スカラ座でも重要な位置を占めていた）、このころから「帝王」と呼ばれ始める。残された録音が少ないために忘れられがちであるが、この時期を中心にウィーン交響楽団への登場も非常に多い。演奏会としてはフィルハーモニア管弦楽団の倍以上、150回に及び、これはベルリン・フィルに次ぐ数字である。同団とは姉妹関係にあるウィーン楽友協会合唱団との共演による声楽曲（バッハの『マタイ受難曲』や『ミサ曲 ロ短調』ベートーヴェンの『ミサ・ソレムニス』など）やブルックナーがこのコンビの得意レパートリーであった。特にバッハの2曲は同団と離れた60年代以降は演奏会で取り上げなることがなくなっており、ベルリンフィルとのスタジオ録音を1回ずつ行っただけである。

ウィーン国立歌劇場のポストは監督のエゴン・ヒルベルトと対立し、1964年に辞任した。以後十数年、ウィーン・フィルとは一部のレコーディングとザルツブルク音楽祭のみでの関係となる。1950年代からはスカラ座でも主要な指揮者として活躍していた（当初はドイツ・オペラ担当、のちイタリア・オペラも指揮）。1964年12月17日にスカラ座での『椿姫』の上演が完全に失敗したため、以後スカラ座では『椿姫』の上演を封印することとなった（カラスの呪い）。このころから健康問題の不調に悩まされるようになりながらも、世界中でおびただしい回数の演奏旅行を行った。ウィーン離任後はベルリン・ドイツ・オペラにも一度登場するが、この関係は継続されず、以後彼のオペラ活動は歌劇場よりも音楽祭が中心となっていく。

1965年には映画監督アンリ＝ジョルジュ・クルーゾーとともにコスモテル社を設立して、クラシック音楽の映像化事業にも着手している。1967年には、自らの理想に沿うワーグナーのオペラの上演をめざして、ザルツブルク復活祭音楽祭を始めた。1972年にはベルリン・フィルとともに3度のコンサートを行い、ザルツブルク聖霊降臨祭音楽祭をも創設し、自ら音楽監督に就任した。ベルリン・フィルがオペラのオーケストラ・ピットに入るようになったのはこの音楽祭が契機となっている。1972年、ベルリン・フィル団員の養成を目的としたオーケストラ・アカデミー、いわゆるカラヤン・アカデミーを創設した。1982年、自身の映像制作会社テレモンディアルをモンテカルロに設立、ベートーヴェン交響曲全集をはじめとする、主要レパートリーの映像化にも着手した。1977年

四半世紀にわたり、カラヤンとベルリン・フィルは良好な関係を維持したが、1983年、女性クラリネット奏者ザビーネ・マイヤーの入団を巡り、加入を認めないベルリン・フィルと対立した[12]。