また、容姿に似合わず酒はあまり飲まなかったという[13]。
運輸大臣就任と深谷駅問題

1966年（昭和41年）8月、第1次佐藤第2次改造内閣の運輸相に抜擢されるが、10月1日からのダイヤ改正に際して、国鉄に要請して自分の選挙区（当時の埼玉3区）にあった深谷駅を急行停車駅[注釈 1]に指定させたため、世論の批判を受ける。「黒い霧事件 (政界)」も参照

問題が表面化した9月3日の夜、荒舩は自宅で新聞記者に「私のいうことを国鉄が一つぐらい聞いてくれても、いいじゃあないか」[15][注釈 2]と発言した。9月12日の参議院運輸委員会でこの問題が取り上げられ、石田礼助国鉄総裁は「いままでいろいろ御希望があったのだが、それを拒絶した手前、一つくらいはよかろうということで、これは私は心底から言えば武士の情けというかね」[16]と答弁した[注釈 3]。さらに、この問題を皮切りに、以下のような疑惑が次々と国会で追及されることになる[17]。

衆議院決算委員長在任中の1961年2月、田中彰治が関与したとされる大阪拘置所の土地交換に関わる恐喝疑惑に関し、田中とともに非公式に大阪に赴き、土地交換の関係者に面会していた[18][19]。

運輸大臣就任直後の1966年8月に各業界との懇談会を開いた際、荒舩の個人後援会「瀞白会」の役員が、業者に後援会への加入を勧誘した[20]。

1966年9月にソウルで開かれた日韓経済閣僚懇談会に出席した際、民間業者2人を同行した[21]。荒舩はかれらが自身らの商用で行くというので口を利いただけだと弁明したが、入管の出国カードには2人が荒舩運輸相随行員と記されていたことや運輸省から駐韓日本大使館に２人は秘書でないが同行させるとの連絡が入っていたことが明らかになった。

後援会の会員と荒舩が上野駅の構内食堂を経営していたが、その後新聞でもとくに名を伏せるとされた女性と荒舩は経営を代わっており、その食堂がはやっているため拡張を計画し、それを国鉄に陳情、国鉄側は困っていると報じられた[22]。

こうした一連の疑惑が積み重なり、荒舩は10月11日に辞表を提出した。辞任時の記者会見では「悪いことがあったとは思わない。ただ、今は世論政治だから、世論の上で佐藤内閣にマイナスになると、党員として申訳ないので辞める」[23]と語っている。所属派閥の領袖であった自民党副総裁川島正次郎は、10月29日の記者会見で「荒船〔ママ〕君はやっぱり“野におけレンゲ草”[注釈 4]だったよ」[24]と評した。

『宝石』（光文社）1966年12月号は「'66年度“宝石最低殊勲賞”政界の部“最低放言賞”」に荒舩を選び、選考委員の一人であった評論家大宅壮一は「ダイコンみたいなものだ」と評した[5]。

翌1967年（昭和42年）の第31回総選挙で、埼玉3区から立候補した荒舩は、まず秩父神社で選挙演説を始め、「代議士が地元のために働いてどこが悪い。深谷駅に急行を止めて何が悪い」と演説し喝采を浴びると共に、そのあまりにもストレートな地元至上主義的な内容でマスコミ関係者の度肝を抜いた[25]。
衆議院副議長就任と荒舩放言問題

1970年（昭和45年）衆議院副議長に就任した[1]。

1972年（昭和47年）1月8日、自らの後援会「荒舩会」が開催した新年旅行の途上、列車内において講演し、その中で、1971年の沖縄国会（第67回臨時国会）会期中の学生らによる抗議デモ[注釈 5]に言及し「社会党や共産党はじめとして、あらゆる自由民主党以外の政党は、沖縄返還反対だといって学生をおだてて火炎ビンを投げさせる」「学生に火炎ビンを投げさしたり、竹やりであばれさしたり、町中火をつけたりたのには日当五千円ずつ、一日に五千円ずつ払ってあばれさしたんだ。この金は隣の共産党の国からきている」などと発言した。またこの際、上越新幹線のルート決定について「新潟県では通産大臣をやっている田中角栄、それから群馬県では外務大臣の福田赳夫、埼玉県は荒船〔ママ〕清十郎、この三人でどこに止めるか、どういうふうに通すかという特別委員になりましてきめたわけでございます」とも発言している[26]。この録音テープを日本共産党が入手して1月23日付の党機関紙『赤旗』紙上で暴露するとともに、24日の衆議院議院運営委員会において「公党に対するいわれのないひぼう」として追及した[27]。荒舩は「テープには“といううわさがある”といった個所が消されている」[28][注釈 6]などと釈明したが、25日に副議長辞任に追い込まれた[29]。
ロッキード国会

1976年（昭和51年）衆議院予算委員長としてロッキード事件の証人喚問を取り仕切った。このとき決して所属政党の都合のみに偏せず、国民の実態を知りたいという要望にも応えた、委員長としての采配ぶりは評判がよく、かつて一連のスキャンダルで、本人自身が政治生命を半分失ったと嘆いていたが、それを取り戻した趣きがあるほど、国民の人気も高まった。同年9月衆議院永年在職議員表彰[4]。同年三木改造内閣、翌年福田改造内閣でそれぞれ行政管理庁長官となり、戦後最大の審議会統廃合を推進[4]。また、ニセ電話事件においては弾劾裁判の裁判長も務めている[1]。1977年（昭和52年）春の叙勲で勲一等旭日大綬章受章[30]。

1980年（昭和55年）11月25日、喘息で入院していた神奈川県相模原市の国立相模原病院で死去、73歳[4]。死没日をもって正三位に叙され、銀杯一組を賜った[31]。また、1981年 (昭和56年) 1月29日、衆議院本会議において高田富之による追悼演説が行われた。
政治姿勢
委員長として

「たとえば社会党と話をして、どういうことをしたら向こうの顔が立つか、こっちだけの主張を通したんじゃ、運営はうまくいかないですね。まあ五分五分勝たなくたっていい。なるべくゴタゴタしないで、運営できるように。しかも、まあ、やっとでもいいから、法案が成立するようにと、こういう考えですね、わたくしは」[32]とあるように野党の主張を踏まえた運営を行うことが多かった[33]。

1976年(昭和51年)、日本社会党の安宅常彦は「武器」の定義をめぐり通商産業省と防衛庁の間における解釈の相違を追求した際には、「委員長から総理に申し上げますが、実は鉄かぶとが兵器で戦車が兵器でないというようなことは世界じゅうの常識から通らないと私も思います。