同年12月、亡父の跡を継ぎ、弔い選挙となった第32回衆議院議員総選挙に神奈川2区から自由民主党公認で立候補し、10万3000票余りを獲得するが、4000票差で落選した。ジャーナリストの池上彰によれば、特定郵便局長からの票がライバル候補に流れたことで落選に至ったという[3]。
福田赳夫の秘書として

福田赳夫の秘書を務め、後に総理となる福田から政治家としての薫陶を受けた。社会人生活の第一歩を浪人でスタートした小泉は、毎朝4時に起床した[4]。横須賀駅5時半発の電車に乗って、2時間かけて世田谷区にある福田赳夫邸へと通った[4]。福田のもとには初当選したばかりの塩川正十郎がいた[4]。当時のことを塩川正十郎は『週刊文春』の阿川佐和子との対談でこう語っている「そうそう。彼は早起きで、福田さんの家の玄関で靴揃（そろ）えておったね。下足番だったの」「で代議士が帰るときモータープールで“何々先生お帰り?お車ぁ?”て運転手を呼んでたの（笑）。だから、僕は彼のホームページに“まさか総理大臣になるとは思わなかった”って書いたんです。大変な苦労をしてますよ。」、「そのとき、福田さんが“こいつは意地の強いやっちゃ。なかなかしっかりしとる。だから、大物になったら、とんでもない大物になるけど、はぐれたら処置ない奴ぜぇ”と言うたことがあるの」[5]。福田邸で秘書の仕事は午前中で終わり、午後からは地元横須賀で自身の政治活動を行っていた。
初当選

1972年（昭和47年）12月、第33回衆議院議員総選挙で自民党公認として立候補し、12万2000票余りを獲得し初当選。清和会（福田派）に属し、後に首相秘書官となる飯島勲が秘書となった。また、同期の山崎拓、加藤紘一と懇意になり、YKKと呼ばれることとなる。
結婚と離婚

1978年（昭和53年）にエスエス製薬の元会長泰道照山の孫・宮本佳代子と結婚。この結婚に父親的な存在だった泰道照山は反対だったという。泰道照山の血縁者は「結局、泰道家とは絶縁寸前までいった。“出て行くならその身体一つでいけ”という具合。それでも小泉さんから“何の心配もいらない。僕たちの結婚には関係ない。白紙のままで来てほしい。”と言われ、その言葉を信じて嫁に行った」と述べている[6]。

3人の子供をもうけたが、1982年に離婚。離婚時に妻は三男を懐妊中であった。関係者の話によれば、「小泉の面倒は姉で秘書をしている信子がみており、系図をみてもわかるように周囲は姉弟の身内で固めている。離婚の理由は本人がおかしくなり、よほど結婚にはこりたようだ」という[7]。
衆議院議員

1979年（昭和54年）、第2次大平内閣で大蔵政務次官に就任。

ポストに執着せずもっぱら政策の習熟に徹していたが、子分を作らない一匹狼的な行動をとり、言いたいことを直言し、与野党政治家の既得権益を害する郵政民営化論を主張することもあって永田町では「変人」と評されるようになる。

1988年（昭和63年）、竹下改造内閣で厚生大臣として初入閣。

1989年（平成元年）にリクルート事件で竹下政権が倒れ、続く宇野政権も参院選で惨敗し、わずか2か月で退陣した。政治不信が高まり、政治改革の柱として「小選挙区制の導入」が叫ばれた際、小泉はこれに強く反対し、推進派の羽田孜と対立した[注釈 3]。

1991年（平成3年）、自民党総裁選で再選を目指し、最大派閥の経世会（竹下派）の支持を受けた海部俊樹（首相）に対抗し、盟友の山崎拓（渡辺派）、加藤紘一（宮澤派）と組んで、「海部続投阻止」「経世会支配打倒」を打ち上げた。所属する三塚派のほか、渡辺派、宮沢派の反主流派が結束したため、海部内閣は機能不全に陥り、海部は総裁選不出馬に追い込まれた。

後任の総理総裁に宮澤喜一が就任すると、小泉は1992年（平成4年）の宮澤改造内閣で郵政大臣に就任する。就任会見で、かねてからの持論の郵政民営化論に基づき、国は民間では採算の採れないことだけをすべきとして、老人マル優限度額引き上げなど従来の郵貯事業拡張政策の見直しを唱えたが、この老人マル優限度額引き上げ見直しは反対派議員（郵政族）などの反発で失敗に終わった。

1993年（平成5年）5月4日に国連カンボジア暫定機構に派遣されていた日本の文民警察官が武装グループに襲撃され、高田晴行警部補が死亡、4人が重軽傷を負う事件が起こった際には、5月7日の閣議の席上で「カンボジアは実質内戦に近い状態にあり、事実上危険な状態であれば、PKOの引き揚げも今後の選択肢に入れるべきだ」[9]などと語り、自衛隊カンボジア派遣に異議を唱えた。また、この死傷事件をきっかけにタケオ州に駐在する自衛隊施設大隊が選挙監視要員を支援することにした政府決定についても異議を唱えている[注釈 4]。さらに、5月18日の閣議でも「日本独自の判断で文民警察官をより安全な場所に移動させよ」「政府は国会で言ってきたこと、国民に約束したことを尊重すべきだ」とした[10]。

1993年（平成5年）、羽田孜、小沢一郎ら羽田派（改革フォーラム21）らの賛成もあって、宮澤内閣へ不信任決議が可決され、第40回衆議院議員総選挙で自民党は過半数を割った。小泉は、宮澤の責任や退陣を閣僚懇談会でも要求し、郵政大臣を辞職した。なお、総選挙後に日本新党の細川護熙を首班とする連立政権が成立、自民党は野党に転落した。宮澤の後任の自民党総裁には河野洋平が就任した。
総裁選への挑戦

下野の直後から自民党内では社会党との連立による政権復帰が模索され、小泉は福田赳夫の配下で社会党との連絡役を担っていた[11]。

1994年（平成6年）、自民党は日本社会党委員長の村山富市を内閣総理大臣指名選挙で支持して自社さ連立政権を成立させ政権に復帰、野中広務らの平成研究会（旧竹下派）が主導的な力を持つようになった。

1995年（平成7年）の参議院議員選挙で自民党は新進党に敗北。河野は続投を望んだが、平成研究会は政策通で人気のある橋本龍太郎を擁立した。小泉らの清和会は河野を支持したが、情勢不利を悟った河野が出馬断念を表明したことで、橋本の総裁就任は確実になった。無投票で総裁が決まることを阻止したい小泉らは森喜朗（清和会）擁立を図るが森が辞退したため、小泉が自ら出馬することを決めた。

既に大勢が決していた上に、郵政民営化を主張する小泉は党内で反発を買っており、出馬に必要な推薦人30人を集めることができたことがニュースになる有り様だったが、それでも若手議員のグループが小泉を推した（中川秀直や山本一太、当選1回の安倍晋三もいた）。