引退からわずか2年後の1970年に時津風一門の代表として32歳5ヶ月の若さで日本相撲協会理事に選出される（日本相撲協会理事としては歴代最年少記録）。地方場所部長（九州場所担当）や生活指導部長などを歴任した後、1982年の役員人事で出羽海と共に協会執行部である在京常勤役員に抜擢され、両国国技館建設に邁進する春日野理事長・二子山理事長代行兼事業部長体制を支える要の位置に就いた[14]。1992年の出羽海理事長体制になると同時に協会ナンバー2の事業部長に就任する。

1998年には60歳5ヶ月で第8代日本相撲協会理事長へ就任する[1][12]。力士出身としては初の大卒理事長であり、最高位が大関の理事長も初めてだった[注 3]。

理事長としては2期4年在職し、前代の境川理事長時代に混乱した年寄名跡改革問題等、角界の収拾に当たった。具体的には「大関経験者の時限付年寄襲名の許可と準年寄制度の創設」により年寄襲名の融通を図り、また 「年寄名跡の複数所有・貸借禁止」を打ち出して年寄名跡の高騰売買や不透明さに切り込んだ[注 4]。また幕下付出の基準設定厳格化（2000年9月）[注 5]、外国人力士の入門規制強化（2002年1月）[注 6]といった施策を行った[13][12]。

時津風理事長時代の2000年9月、横綱審議委員会のメンバーに史上初めての女性委員となる内館牧子（脚本家・小説家）を任命し、内館は2010年1月迄の約10年間横審委員を務めた（ほか時津風理事長は、同時期に女優・吉永小百合にも横綱審議委員への打診をしたが、吉永は「相撲には詳しくないから」との理由で断られたという）[15]。

理事長として最後の場所となった2002年1月場所千秋楽の協会御挨拶では「自分の言葉で御礼を申し上げたい」と挨拶状を持たずに挨拶し、観客を唸らせた。その後相談役に退き、最後は後継に指名した元双津竜の錦島親方と名跡を交換、1日だけ年寄・錦島に戻って停年退職した。部屋の継承を巡り騒動になるケースが大部屋では多いが、豊山には実子がいなかったためすんなりと錦島への禅譲で話が進んだ[13][12]。2007年の時津風部屋力士暴行死事件で元双津竜が解雇された後の後継選びにも取りまとめ役として動き、後継に決まった時津海の断髪式では止め鋏を入れた。

2020年9月場所で部屋の後輩であり東農大の後輩でもある正代が最後まで優勝争いに絡んだことで、千秋楽の日には12代時津風の墓前で正代の優勝を祈願[16][17]。正代が優勝を果たして場所後に大関に昇進した際には、伝達式にも立ち会った[16][17]。

2021年8月18日、84歳の誕生日を迎えた。記録が明確な明治以降の大関以上の力士では最年長である。
エピソード

無口でインタビューには答えないが、美男で独身ということから、佐々木味津三(みつぞう)の小説『むっつり右門捕物帖』から取られて「むっつり右門」と呼ばれた[2]。

年寄時代終盤より学生相撲選手を有望な新弟子に仕上げるべく母校・東京農業大学相撲部の指導を本格的に行うようになり、現在でも指導に参加することがあるという。年寄時代終盤の弟子で16代時津風を継いだ時津海が母校の後輩であることもあり、親方を退いた現在でも東農大出身の力士の殆どが時津風部屋に在籍している。

豊山は師匠の12代時津風に関しては「師匠は包容力のある温かみのある方だった。晩年は稽古場に降りると、連日2時間ほど実地の指導をしてくれた。亡くなる寸前まで『相撲道を究めることはいまだにできない。だから、お前が4年や5年で分かるはずがない。頑張れや』と、すべての面で完成された師匠が励ましてくれたことを、私は常に胸の中にたたきこんでいる」と、後年回顧しつつ語っている[6]。

佐藤栄作がファンだった。媒酌人は同郷の田中角栄が務めた。

故郷の新発田市には「ドライブイン豊山」という食堂がある。豊山勝男・豊山広光と同食堂の先代社長は親友同士で、故郷に豊山の名前を残したいということでこの店名になった。

体格に恵まれ、また当時の力士としてはかなりの男前で、アイドル力士の先駆けのような存在であり、女性人気も高かった。その一方中学卒が殆どの角界にあって大学相撲出身故の苦労も多かったという。中でも時津風部屋入門に至るまでの前述のような経緯から、佐田の山が「学生さんにゃ負けられませんよ」、さらには「褌担ぎもした事のない内田に負けてたまるか」とライバル心を剥き出しにするといった話を始めとして出羽海部屋勢からは敵意を向けられていたという。ただ、佐田の山が敵意を向けたことは報道などが大げさに取り上げた面もあり、「負けたら髷を切る」などいう文言でファンを盛り上げた面もあったが、引退後に佐田の山自身としてもそれは弁解するつもりは無いと言いつつも、「一種の演出」であったと注釈を付けている。佐田の山は親方になって以降、自身と同じく部屋の師匠となった豊山に対して「現役時代はよくやっていましたよ本当に。学生相撲から入ってきて、ワシなんかよりうんと苦労したと思うんです。人に言われるというより自分自身で、人がああ思っているんじゃないか、こう思っているんじゃないかと…。それに耐えて立派に大成したのですし、本当にえらいと思います」[18]

現役時代に自身の師匠を務めていた時津風こと双葉山が保持している幕内69連勝の記録まであと一歩となる63連勝を達成した白鵬の話題について「記録の価値を対比させるのは、間違っている。優劣を論じること自体が、不敬だと思うな」とコメントを寄せていた。[19]停年後にNHKのラジオの大相撲中継にゲスト出演した時も、白鵬の土俵上での所作を指摘して、（徳俵に足を踏み付ける行為等）自身の現役時代に師匠の双葉山から場所中でも土俵上の所作はこうしなければいけないと指導を受けていたというエピソードを披露した。

理事長時代、休場と不振続きだった横綱・曙太郎が1999年1月場所の最中、周囲に極秘のまま突如引退届を提出した。しかし、時津風は曙に対し「今はじっくりと怪我を治す事だけに専念しなさい。進退を考えるのはそれからだ」と笑顔で励まし慰留した為、曙は引退を撤回した。後年の曙は「理事長まで行く途中（師匠や後援会等）で止められるのではと思ったが、まさか理事長で止められるとは思ってもいなかった」と述べている。

1970年に32歳で相撲協会理事に就任したのは歴代最年少だが、2002年に停年に絡むため理事長を退任するまで32年間相撲協会理事を務めていた。これは、歴代理事最長の在任記録である。一方で1998年に理事長に就任したのは、60歳5ヶ月でこちらは就任時は歴代最高齢での就任だった（その後、武蔵川〈元横綱・三重ノ海剛司〉が60歳7ヶ月、放駒〈元大関・魁傑将晃〉が62歳5ヶ月で理事長に就任したため、現在は歴代3位の高齢就任）。

2015年10月21日から28日まで東京都美術館で開かれた「第66回一線展」に「屋久島」というタイトルの作品を出品。大相撲の優勝額（縦317cm、横228cm）と同じくらいの大きさもある作品で、訪れた人たちは「さすがに元力士だけにスケールが違う」と感心していた。豊山は停年後に母校の成人学校に通学し絵画教室に参加、腕を磨いてきた。[20]

幕内時代の豊山は、優勝次点を合計8回も記録しながら、悲願の幕内優勝は一度も達成出来なかった（更に優勝決定戦進出・優勝同点もゼロだった）[1][注 7]。

主な成績

通算成績：413勝245敗8休　勝率.628

幕内成績：373勝234敗8休　勝率.614

大関成績：301勝201敗8休　勝率.600

通算在位：46場所

幕内在位：41場所

大関在位：34場所（大関在位数当時歴代1位、現在歴代9位）

三賞：7回

殊勲賞：3回（1962年9月場所、1962年11月場所、1963年1月場所）

敢闘賞：4回（1962年1月場所、1962年9月場所、1962年11月場所、1963年1月場所）


雷電賞：4回（1962年1月場所、1962年9月場所、1962年11月場所、1963年1月場所）

金星：1個（柏戸1個）

各段優勝

十両優勝：1回（1961年11月場所：15戦全勝）


場所別成績

豊山 勝男 一月場所
初場所（東京） 三月場所
春場所（大阪） 五月場所
夏場所（東京） 七月場所
名古屋場所（愛知） 九月場所
秋場所（東京） 十一月場所
九州場所（福岡）