三木派が河本派に移行してからは、1994年に離党するまでの間、名実共にナンバー2として河本敏夫を支えたが、若手の頃から党内で重用されたため、派内ではやっかむ声もあった。ニューリーダーの次を狙う政治家として橋本龍太郎、藤波孝生らと共に「ネオ・ニューリーダー」と呼ばれた。
早稲田大学雄弁会の先輩である竹下登ら早大出身者との親交が深かったため、「現住所河本派・本籍竹下派」とも言われた。「竹下が総理になった暁には、河本派を離脱して竹下のもとに馳せ参じるのでは？」と囁かれた事もある。
代表的な文教族であり、福田赳夫内閣と第2次中曽根内閣で文部大臣を務めている。また「青年海外協力隊」の生みの親のひとりとしても知られている。
宇野宗佑が第15回参議院議員通常選挙の大敗北により辞任することになったが、宇野を指名したのが竹下派であったため、竹下派からは宇野の後任の総裁選への出馬を見送ることになった。リクルート事件で有力政治家が謹慎している中で、極端な世代交代を避けたかった竹下が、「時計の針を進めず、戻さず」として年齢の割に当選回数があり、かつ同じ稲門（早稲田大学）として近い関係にあった海部を首相にする構想を打ち出したことから、思いがけず総理総裁の座が転がり込んできた。総裁選では海部の他に、林義郎と石原慎太郎が出馬したが、竹下派の支持を得た海部が両者をおさえて総裁に選ばれた。
参院選の結果、自民党が過半数割れに追い込まれたことにより、国会の首班指名において衆参のねじれが生じることとなった。自民党が依然過半数を占めていた衆議院は海部俊樹、野党が過半数を確保した参議院は日本社会党の土井たか子を指名した。日本国憲法第67条第2項の規定に基づき、両院協議会にて協議されたが両院の意見は一致せず、衆議院にて指名された海部が内閣総理大臣に就任した（衆議院の優越）。
海部が首相に就任した頃は、いわゆるリクルート事件などで国民の間に政治不信が強まっていた。それだけに、清新なイメージで颯爽と登場した海部に寄せられた党内外の期待感は大きかった。組閣においてはリクルート・ロッキード事件にかかわったとされる政治家を一切排除した。このため党内の不満が高まり、後の政治改革法案が廃案になる遠因にもなった。官房長官の山下徳夫が宇野と同じく女性スキャンダルを騒がせた際、すぐに山下を更迭させて環境庁長官だった女性議員の森山真弓を官房長官に横滑りさせて女性初の官房長官に起用させたり、様々な行事で夫婦同伴をするなど女性層を意識させた戦術をして、1990年の衆院選では衆院単独過半数を獲得する。
また党内基盤が脆弱であった海部は自民党にとってはその場しのぎの「看板」でしかなく、党内は相変わらず権力闘争に明け暮れていた。自民党総裁にして内閣総理大臣でもある海部は、本来味方であるはずの自党に振り回され、小選挙区制度導入反対派の小泉、加藤、山崎のいわゆるYKKなどによる党内からの猛烈な倒閣運動を受けた。しかし、圧倒的な世論の支持が海部を守った。湾岸戦争における経済的な協力や掃海艇派遣では驚異的なねばり腰で法案を成立させた。このことに限らず、外交面では当時のサッチャー英首相やブッシュ米大統領から絶大な信頼を得ていた。天安門事件後、世界から孤立しかかった中国に西側先進国首脳として真っ先に訪問し、円借款を再開させたことには現在でも中国から感謝され「井戸を掘った人」として尊敬されている。
政策の目玉として取り組んだ政治改革関連法案が国会で審議未了廃案となったことを受け、「重大な決意で望む」と発言。これが衆議院の解散を意味する発言であると受け取られた。首相にとって「伝家の宝刀」の異名を持つ解散権は、総理大臣の専権事項である。しかし、自民党内の反海部勢力から大反対の合唱がおこった（海部おろし）。最後には海部をバックアップするはずだった竹下派でさえ明確に解散不支持を表明し、結局解散に踏み切ることが出来ず、発言の責任を取る形で内閣総辞職を選んだ。在任中の内閣支持率は退任直前でさえも50％を超えていた。時には64％ということもあり、国民的な人気は根強いものがあった。
首相在任日数818日間は日本国憲法下において衆議院で内閣不信任決議が採決されなかった内閣の首相としては最長日数記録である。
首相在任中の施策
資金提供
湾岸戦争の戦費として多国籍軍に130億米ドルもの資金を提供。しかし、戦後クウェートの新聞に載せられた感謝広告に日本の国旗が無かったが、その後改められた。
自衛隊ペルシャ湾派遣
湾岸戦争の停戦後に、自衛隊創設以来初の海外実任務となる海上自衛隊掃海部隊をペルシャ湾に派遣する。
1994年5月25日、自民党総裁の河野洋平が、党の政権復帰のため日本社会党、新党さきがけと自社さ連立政権構想で合意し、首班指名で社会党の村山富市に投票することを決めると、これを拒否して離党。連立与党の支援を得て首班指名に立候補するが、自民党からの造反は期待されたほどは起こらず、決選投票で敗れることになる。その数日後正式に離党し自由改革連合結成し代表就任、新進党結党し初代党首となる。新進党結党会見では臨席した初代幹事長の小沢一郎に核心の質問が集中し思わず「党首は私なんですから質問の順序が逆じゃないんですか。」といきりたつ一幕もあった。さらにこの光景が放映されたあと久米宏が「小沢さんが実権を握っているのは皆わかっている。」と発言し止めをさした。 この離党に至る海部の動きに対し、元衆議院議長・田村元は「三木さんは我々と対立したが偉大な政治家であった。三木さんはあえて茨の道を選んだ。しかし、海部はてんぷらのにおいがするほうへつられて歩いて行った」と酷評している。また、当時の自由民主党幹事長代理野中広務は「元総裁が党を裏切るとは何事」と激怒。自民党本部の八階ホールと総裁室にある歴代総裁肖像画から海部の肖像画のみ撤去させた。