22年（地皇3年）冬、劉秀の兄の劉?が挙兵する。この軍は舂陵軍と称され、最初は思うように兵が集まらずに苦しんでいたが、慎重な性格と評判であった劉秀が参加すると、劉秀の判断を信じ叛乱に参加する者が増えるようになった。なお、挙兵時には劉秀は貧しく馬を買うことができず牛に乗っていた。

舂陵軍はやがて緑林軍に合流したが、まもなく緑林軍は疫病が蔓延したために、南陽を拠点として新市軍と、南郡を拠点とする下江軍に分裂した。新市軍は南陽の豪族の平林軍（この軍には劉秀の本家筋に当たる劉玄が加わっていた）や劉?の舂陵軍と連合した。後にこの連合軍が下江軍を再度吸収、劉?が?陽で新朝の軍を打ち破った。連合軍が南陽宛城を包囲した後、新皇帝を擁立すべく新市・平林軍の部将らが協議を行った。劉?擁立の動きもあったが、実績のある有能な人物を擁立すると自らの勢力が弱体化することを恐れた新市・平林軍の部将らはこれを却下し、凡庸な人物と見做されていた劉玄が更始帝として擁立されることとなった。
昆陽の戦い

23年（更始元年）夏、更始帝討伐を計画した新の王莽は洛陽から100万と号する（戦闘兵42万、残りは輸送兵）軍を出発させた。しかし王莽は軍事の知識・経験に乏しく、新軍に63派の兵法家を同行させる、猛獣を引き連れるなどの常識外れの編成を行った。新軍は劉秀が拠点としていた昆陽城を包囲・攻撃した。劉秀は夜陰に乗じ僅か13騎で昆陽城を脱出、近県3千の兵を集め、昆陽包囲軍と対決する。総大将が率いて迎撃した新軍に対して、劉秀やその部下の軍は勝利を収めた（昆陽の戦い）。

昆陽の勝利に前後して劉?も宛城を落城させた。これにより劉?・劉秀兄弟の名声は高まり、その名声を恐れた更始帝は両者への牽制を始める。劉玄即位に反対していた劉?の部下が、更始帝から官位が授けられた際に固辞したため、更始帝はこれを反逆として誅殺しようとした。この時、劉?は部下を擁護したため、更始帝はこれを口実として劉?をも殺害した。この事件に際し劉秀は宛城に到着すると、更始帝に兄の非礼を謝罪し、また周囲が劉?の弔問に訪問しても事件については一切語らず、自ら災禍に巻き込まれるのを防いでいる。

昆陽・宛県での結果を知ってそれまで傍観していた地方の豪族が次々と更始軍に合流し、更始軍は短期間で一大勢力と成長した。更始帝軍は洛陽と長安（当時は常安）を陥落させ、更始帝は洛陽・長安（当時は常安）へ遷都する。洛陽が都城とされていた時まで、劉秀は更始帝と側近たちに昆陽での戦功と劉?の弟であることから危険視され、中央から出ることが出来なかったが、河北へ派遣する適当な武将がおらず、大司徒劉賜が「諸家の子独り文叔有って用いるべし」と推挙したために赴任を命ぜられた。これによって劉秀への監視が解かれ、長安に遷都した更始帝の朝政が乱れ民心を失うことで、劉秀に自立の機会が与えられることとなった。
河北転戦新滅亡後の勢力図

23年（更始元年）冬、劉秀は河北へと向かう。河北で劉秀が邯鄲を離れ北上した際、邯鄲で王郎が漢の成帝の落胤であると称し劉林や李育らと挙兵、劉秀の首に10万戸の賞金を掛けて捕えようとした。そのため劉秀は�ｹ禹・王覇・馮異ら僅かな部下を率いて河北を転戦することとなった。それは厳しい行軍となり極寒の中馮異が薪を集め�ｹ禹がたき火をし豆粥や麦飯で寒さと飢えをしのぐ状態であったと伝えられている。

その後は王郎を拒否し劉秀の庇護を求める信都郡の太守任光とその配下の李忠と萬脩、和成郡の太守??らが劉秀を迎え入れ、地方豪族の劉植・耿純が陣営に加わる。任光・李忠・萬脩・??・劉植・耿純は後世に雲台二十八将として名を連ねることとなった。

劉秀は王郎の配下で10余万の兵を持っていた真定王劉楊（『漢書』に拠る。『後漢書』は、「劉揚」に作る）への工作を開始し、劉楊の妹が豪族の郭昌に嫁いで産んだ娘、すなわち劉楊の姪の郭聖通（のちの郭皇后）を劉秀が娶ることで、劉楊を更始帝陣営に組込むことに成功した。

こうして王郎と対峙する中、精鋭の烏桓突騎を擁する漁陽郡と上谷郡が劉秀側につき、後世の雲台二十八将とされる呉漢・蓋延・王梁（以上漁陽）、景丹・寇恂・耿?（以上上谷）らを派遣して劉秀と合流した。