父親である菅和三郎は23歳（1940年か1941年）のときに満州国（現・中国東北部）に渡り、南満州鉄道に入社、結婚し、長女が生まれた。第二次世界大戦末期、ソ連参戦により、和三郎は臨月の妻と長女とともに通化市で日本の降伏を迎えた。通化では日本の避難民が中共軍などに虐殺される通化事件が起こるが、菅一家は間一髪のところで通化を脱出、奉天（現在の瀋陽市）に向かった。奉天で次女が誕生。現地では偶然、秋ノ宮村からの開拓団と遭遇し、和三郎は彼らの食糧調達などに奔走する。1946年に引揚げ、引揚げ後は、郷里の秋ノ宮で農耕に従事した。「秋の宮いちご」のブランド化に成功して、秋の宮いちご生産出荷組合組合長や、雄勝町議会議員、湯沢市いちご生産集出荷組合組合長などを歴任。2010年（平成22年）に92歳[19]で死去すると、旭日単光章を叙勲されている[20]。

母や叔父、叔母は元学校教員であり、2人の姉も高等学校教員となった[21][22][23][24][25]。

弟の秀介は株式会社千葉ステーションビルの元取締役[26]。
故郷秋田から上京就職

雄勝町立秋ノ宮小学校（現・湯沢市立雄勝小学校）を卒業後、雄勝町立秋ノ宮中学校（現・湯沢市立雄勝中学校）に進学する。中学卒業後は、自宅から最も近い秋田県立湯沢高等学校に2時間かけて通学し、第3学年では進学組に所属した。後に、『フライデー』から「特に目立った成績ではなく、姉が進学した北海道教育大学を受験したが不合格となった」と報道されたが、森功の取材では菅本人は当時「教員にだけはなりたくない」と考えており、北海道教育大の受験はしていないと述べている。父から農業大学校への進学を勧められたが断り、高校卒業後上京する。

「東京へ行けば何かが変わる」と夢を持ち上京した[27]が、東京都板橋区の段ボール製造工場（社名未詳）で勤務していた時代には秋田時代と変わらぬ日々を過ごし、現実の厳しさを痛感して2か月で工場を退職。それから約2年後に法政大学に入学するまでの経緯については、報道によって食い違いが見られる。

朝日新聞記者の大鹿靖明が2009年に菅の両親に取材を行った際の記録によれば、工場を退職した菅は秋田の実家に戻り、大学進学を目指して受験勉強を始めた。その傍ら、役内川のアユ釣り大会で優勝し、秋田県知事から竿を贈られている[28]。一方、一部週刊誌では、菅は東京に留まり、朝は築地市場、夜は新宿区の飲食店でアルバイトをして生活し、その合間に受験勉強をしていたとされている[29]。
法政大学へ進学

上京から2年後に「授業料が最も安かった」という理由で法政大学法学部政治学科へ進学する[29][30]。なお、複数の週刊誌などで第二部（夜間学部）の出身であると報じられることがあるが、菅本人が2016年のインタビューで「メディアで二つくらい、法政の夜間卒だと書いているのがありましたが、昼です」と述べており[3]、実際には第一部（昼間）の出身である[31]。

法大在学中には実家から仕送りも受けつつ[32]、警備員や新聞社、カレー屋のアルバイトで生活費と学費を稼いでいた。一方で、大学の空手道部に4年間所属し、三段の段位を取得している[29][33]。1973年、法政大学法学部政治学科を卒業し、建電設備株式会社（現・株式会社ケーネス）に入社した。
政治家秘書として

1975年、政治家を志して相談した法政大学就職課のつてで、OB会事務局長から法政大学出身の第57代衆議院議長中村梅吉の秘書を紹介された。秘書が参議院議員選挙に立候補することになり、その下で働いた。ところが当該秘書が体調を崩し出馬を断念。同年4月、中村と同じ中曽根派だった衆議院議員小此木彦三郎の秘書となる[34][35]。

小此木の事務所には当時秘書が7人おり、その末端として採用された。菅は小此木の自宅の近くのアパートに住み、毎朝小此木の家に向かった。小此木の三男で、当時小学生だった小此木八郎は「秘書というより書生かな。秘書はみな家族同然でしたけど、いっしょにご飯を食べていたのは菅さんだけでした」と回顧している[35]。一時期、小此木系の県議の梅沢健治に預けられ、梅沢から、人との接し方や一票のつくり方など様々なことを仕込まれた[36]。

1980年5月、小此木の自宅に住み込みで働いていた真理子と結婚。法政大学の同級生の家が所有する横浜市神奈川区菅田町のアパートで暮らし始める[37][38]。

1983年、小此木の通商産業大臣就任に伴い大臣秘書官を務める[39]。
横浜市会議員

1986年10月1日、翌年の横浜市会議員選挙に立候補するため、秘書を退職[40][21]。神奈川区選挙区の現職の自民党市議から「自分の選挙区を譲るから後継者になって欲しい」と声をかけられるが、これを断り、西区選挙区（定数2）から出る道を選んだ[40]。自民党はすでに鈴木喜一を公認していたため、小此木らは反対。しかし菅は引かなかった。

結局、鈴木喜一は市議会を飛び出し、1987年4月の県議選に無所属で立候補し、党公認の現職の斎藤達也を破って初当選した。菅も同月の市議選・西区選挙区に立候補し、定数2に対し得票数2位で初当選を果たした。菅がそこまで選挙区選びにこだわったのは、西区に本社がある相模鉄道（現・相鉄グループ）の副社長を後援会に引き入れようとしたためと言われており[41]、2023年には相鉄新横浜線開業式典に参加している[42]。

1991年、再選。同年11月4日、議員会館での転落事故が元で、小此木彦三郎が死去。彦三郎の地盤は三男の八郎が受け継ぎ、1993年の第40回衆議院議員総選挙に立候補。この選挙で菅は八郎陣営の事務長として奔走し[43]、八郎は定数4に対し得票数3位で初当選した。

菅は当選回数わずか2回にもかかわらず、小此木八郎の事実上の代役として、秘書時代に培った政財官の人脈を活かして辣腕を振るい、高秀秀信市長から人事案などの相談を頻繁に受けるなど、「影の横浜市長」と呼ばれた[21]。1995年4月29日、市議を任期満了で退任。