出身の司隷河東郡から幽州?郡に出奔[注釈 1]。黄巾の乱に際し同地で劉備が旗揚げすると、張飛と共に彼の護衛官を務め、簡雍・田豫らと各地を転戦した。劉備が平原の相になると、関羽は張飛と共に別部司馬に任命された。劉備は関羽・張飛に兄弟のように恩愛をかけ、張飛は関羽が年長者であることから兄のように従ったという[5]。関羽・張飛は他人の前では、あくまで劉備を主君として立て、仕えた[注釈 2]。
劉備への忠義を貫き、劉備の元へ帰る

徐州を得た劉備は呂布と争い曹操を頼って逃れた。建安3年（198年）、曹操が呂布を破った時に関羽は張飛と共に戦功を認められ、曹操から中郎将に任命された（『華陽国志』劉先主志）。この時に関羽は呂布の部将の秦宜禄の妻を娶る事を曹操に願い出たが、秦宜禄の妻を見た曹操は自分の側室としてしまった（『蜀記』）。

建安4年（199年）、劉備は献帝から密命を受けた董承と結び曹操に叛旗を起こし徐州刺史の車冑を殺害し、徐州を占拠した。この時に張飛は劉備と共に小沛に戻り、関羽は下?の守備を任され太守の事務を代行した[注釈 3]。

建安5年（200年）、劉備が東征してきた曹操の攻撃を受けて敗れ、下?に撤退せず北上し袁紹の元に逃げると関羽は夏侯博や劉備の妻子と共に曹操に捕らわれた。曹操は献帝を庇護しており、献帝の下にあった。関羽は劉備の元へ帰るまでの期間「漢王朝（献帝）に降る」という名目の上で、曹操に降伏するのではなく一時的な賓客となり、漢王朝より偏将軍に任命された。官渡の戦い（漢王朝（曹操側）と袁紹の戦争）に関羽も漢王朝側の武将として参加し、関羽は呂布の降将の張遼と共に白馬県を攻撃していた袁紹の将の顔良の攻撃を命じられた。関羽は顔良の旗印と車蓋を見ると、馬に鞭打って突撃し顔良を刺殺し、その首を持ち帰った。この時、袁紹軍の諸将で相手になる者はいなかったという（白馬の戦い）。曹操は即刻上表して、漢寿[注釈 4]亭侯に封じた。

曹操は関羽の人柄と武勇を高く評価していたが、関羽が自分に正式に降伏する心算は無いと思い、張遼に依頼して関羽に質問させたが、関羽は劉備を裏切ることは無い事と、曹操への恩返しが済んだら立ち去る心算である事を述べた。そのことを張遼から聞いていた曹操は関羽の義心に感心したという。

顔良を討ち取るという功を立てた関羽は必ずや劉備の元に戻ると曹操は考え、関羽に重い恩賞を与えた。関羽はこれらの賜り物に封をし、曹操に手紙を捧げて別れを告げ、袁紹に身を寄せた劉備の元へ去った。曹操はその義に感嘆し、関羽を追いかけようとする部下に対し、彼を追ってはならないと言い聞かせた。その後関羽は劉備と再会し、劉備の元へ帰った。
荊州を預かる

劉備が袁紹の元を去って荊州の劉表の元に身を寄せると、関羽も同行した。

建安13年（208年）、劉備が襄陽の名士の諸葛亮を三顧の礼で迎え重用するようになると、張飛と共に不満を覚えたが、劉備は自分と諸葛亮との関係は、魚が水を欲するようなものである（水魚の交わり）と述べたという（『三国志』蜀志「諸葛亮伝」）。

同年、劉表が病死し曹操が荊州に侵攻すると、樊の地より南下して江陵を目指した劉備の指示で数百隻の船団からなる別働隊の指揮を執った。途中、長坂の当陽で曹操軍の追撃を受けた劉備は敗北し漢津に逃れ、関羽の船団と合流し難を逃れ、共に夏口に向かった（長坂の戦い）。魯粛、諸葛亮を介して孫権が劉備に援軍を出すと、劉備・孫権軍は赤壁で曹操軍を破り、曹操は荊州制圧を諦めて撤退した（赤壁の戦い）。

建安14年（209年）、荊州の南郡攻防戦では北道を封鎖したが、李通が手勢を率いてこれを攻撃し曹仁を救い出した。また、漢津で徐晃と満寵の攻撃を受けた（『三国志』魏志「徐晃伝」）。（『三国志』魏志「李通伝」）。劉備は江南の諸郡を平定すると、関羽のそれまでの功績を評価し、襄陽太守[注釈 5]・盪寇将軍に任命した。