13世紀半ばからの皇帝フリードリヒ2世と教皇庁の抗争は、中欧における帝国の権威を衰退させていた[2]。教皇庁の軍事力を支える帝国の混乱は教会が所有する土地の治安の悪化をもたらしていた[16]。シチリア王シャルル1世は甥のフランス王フィリップ3世を皇帝に推薦しており[17]、強化されつつあるフランス王権がローマ王・皇帝をも兼ねる可能性が生まれていた[16]。1272年に皇帝候補に挙げられていた名ばかりのローマ王コーンウォール伯リチャードが没すると、教皇グレゴリウス10世は選帝侯たちに神聖ローマ帝国の君主の決定を強く求めた[16]。

国王選挙の主導権を握るマインツ大司教ヴェルナー・フォン・エップシュタイン、ライン宮中伯ルートヴィヒを通して選挙を進めるニュルンベルク城伯フリードリヒの2名はルドルフをローマ皇帝に推薦した[10][18]。ルドルフは選帝侯の誰とも私闘状態（フェーデ）になく、世俗諸侯からは凡庸な同輩と見なされていた[19]。選挙当時50歳を超えていたルドルフは当時としてはすでに老齢であり、選帝侯たちはルドルフの統治は短期間で終わると考えていた[15][19]。また、ヴェルナーとフリードリヒは、皇帝フリードリヒ2世が没した後もホーエンシュタウフェン家を支持し続けるルドルフの義理堅さを評価していた[10]。

国王選挙の当時、ルドルフはバーゼル司教ハインリヒと土地・権限を巡って争っており、バーゼル市に包囲を敷いていた[19]。1273年9月20日[20]、ルドルフの陣営を訪れたニュルンベルク城伯からローマ皇帝への選出を知らされ、思いがけない知らせにルドルフは驚愕した[19][20][21]。すぐさまバーゼル司教と講和を結んで包囲を解き、選帝侯会議が行われているフランクフルトに向かった[20]。ルドルフはアーヘンで戴冠を受け、その後封土の授与を行った。即位に際してルドルフはグレゴリウス10世に即位の承認を求める嘆願書を提出し、グレゴリウス10世から認可を受けた[22]。ルドルフは帝国人民と教会の両方から即位を認められた大義を得、1275年にローザンヌでグレゴリウス10世と会談を行った[22]。また、ルドルフの即位に伴い、王妃となった妻のゲルトルートはアンナと呼ばれるようになった[23]。

しかし、選帝侯のうちプシェミスル家のボヘミア王オタカル2世のみはルドルフのローマ王選出に反対し、ルドルフを「貧乏伯」と貶した[24][25][18][26]。オタカル2世もローマ王の候補に挙がっていたが、他の選帝侯たちは野心的なオタカルを警戒していた[24][27]。
ボヘミア王国との戦いマルヒフェルトの戦い

ルドルフのローマ王としての最初の任務は、東方で勢力を拡大するオタカル2世に勝利を収めることであった[2][22]。1246年にオーストリア公国を支配していたバーベンベルク家の男子が断絶した後、オタカルはバーベンベルク家の公女マルガレーテと結婚し、婚資としてバーベンベルク家の領土を獲得した。1261年にオタカルはマルガレーテと離婚するが、離婚の後も旧バーベンベルク領と領地から上がる収入を確保する権限を保持していた[22][28]。このオタカルの旧バーベンベルク家領の獲得を、ルドルフは不当なものと見なした[29]。

1274年11月にルドルフはニュルンベルクで帝国会議を開催し、諸侯に不当に獲得した神聖ローマ帝国の財産の返還を呼びかけ、国王と諸侯の教義を経た再授与を試みた[30]。オタカルにも出頭を求めるが、オタカルは会議の場に姿を現さなかった[31]。ルドルフはオタカルの帝国会議への参加の拒否、封土（レーン）授与の申請の怠りを咎め、1274年11月に彼に帝国追放令を出した[18]。

アウクスブルクで開かれた帝国会議にもオタカルは出席せず、ゼッカウ（ドイツ語版）司教を弁明の使者として派遣した。会議の場でゼッカウ司教がラテン語による弁明を述べ始めたとき、ルドルフは「場にいる大勢の人間が理解できない」ラテン語での弁明を止めさせた[32]。反教皇の感情を持ち、これまで外国人がローマ王に立候補していた状況に不満を抱く者が多い帝国諸侯を、ドイツ語とラテン語を対比させる手法でまとめ上げ、反オタカルの意思を一体化させた[33]。オーストリアの貴族と高位聖職者も次第にルドルフを支持し始め、民衆の間にもルドルフに対する好意が浸透していった[18]。1276年6月[18]、ルドルフは出頭に応じなかったオタカルに重帝国追放令を出し、オタカルがボヘミア王に即位した後に獲得した領地の没収を宣告した[31]。同1276年にルドルフは諸侯を率いてウィーンの包囲に向かい、同年11月にオタカルは降伏した。

オタカルを下したルドルフはオーストリアにラント平和令を公布し、貴族たちに厚い待遇を提示して懐柔を図った[34]。