資金は外債募集に頼ることとなった。そのため「我が神洲の土地を典じて外債を募集する」という陸軍・兵部大輔の前原一誠を筆頭として反対運動が発生し、鉄道を建てる試験のための電信線を傷つけ電線を切断するなどの行為があったようである。因みに兵部の西郷隆盛の反対があり、最初の京浜鉄道は陸路を使う事ができず海を埋め立てて通したとも言われれる。また枢密院議長だった黒田清隆も当初は大反対だったものの、1871年1月から5月にかけてアメリカ合衆国やヨーロッパ諸国を旅行して鉄道の重要性を体感し、賛成に転じたと大隈は述べている[37]。

明治2年11月10日（1869年12月12日）に鉄道敷設の正式決定した2日後には大隈重信と伊藤博文はレイと仮契約を交わした。レイ借款が100万ポンドの借款で、30万ポンドは鉄道敷設に使い、残りは外債償却に使用するものであった[38]。また大隈重信が外国では鉄道の軌間基準がどうなってるかレイに訪ね、それに対し日本のような川や山が多く平地が少ないところでは、南アフリカなどに敷設されている3フィート6インチ（1067mm：ケープゲージ）が適当だと勧められたため、これを導入している。ただしこれはレイが同じケープゲージを採用していたインドの中古資材を購入して、その利ざやを稼ぐための意図があっての回答であり、欧米の通常軌道より狭いものであった。このため大隈は後年、一生一代の不覚であったと悔やむこととなった。ただ1870年5月20日にイギリスから『タイムズ』が大隈らのもとに届き、そこに4月23日にレイがロンドンにおいて公債公募による詐欺を行っていたとする記事が掲載されていたため、レイ借款を即時解除するという騒動に発展した[40]。

1871年7月半ば、横浜港にイギリスから届いた機関車と客車が陸揚げされた（基本的にこの京浜鉄道は外国からの中古品や流れものによって構成されていたようだ[40]）。伊藤と岩倉は11月12日より岩倉使節団として欧州に出発し日本を不在にしたため、日本初の鉄道開業は留守を司る大隈のもとで行われることになった。1872年6月12日（明治5年5月7日）に品川-横浜間で仮営業を開始し、同年10月14日（明治5年9月12日）に開業している。　
明治4年以降

明治4年6月25日、大久保主導の制度改革で参議と少輔以上が免官となり、新参議となった木戸と西郷隆盛によって新たな人事が行われることになった。大隈はこの日参議と大蔵大輔を免ぜられ、6月29日に大蔵大輔に再任された。しかし7月14日には参議に任ぜられ、大蔵大輔は免ぜられた[41]。11月12日に岩倉使節団が出国すると、大隈は留守政府において三条・西郷らの信任を得て、勢力を拡大し、大蔵大輔となっていた井上馨と対立するようになる[42]。1873年（明治6年）5月に井上が辞職すると、大蔵省事務総裁を兼ねて大蔵省の実権を手にした。5月26日には大蔵卿の大久保が帰国したが、その後も実権を握り続けた[43]。

一方でウィーン万国博覧会の参加要請を日本政府が正式に受け、博覧会事務局を設置。大隈が総裁、佐野常民が副総裁を務め、明治になって政府が初めて参加した万国博覧会となり、近代博物館の源流となった。大隈は会場に出席するため渡欧しようとしたが、政府内の同意が得られず出国しなかった[44]。

明治六年政変では、当初征韓論に反対の態度を示さなかったが、10月13日以降反征韓派としての活動を始めた[45]。征韓派は失脚し、佐賀藩の先輩であった江藤新平・副島種臣と袂を分かった。政変後の10月25日には参議兼大蔵卿になった[46]。また大久保利通と連名で財政についての意見書を太政官に提出している。
大久保政権下の活動

明治7年（1876年）1月26日には三条より、大久保とともに台湾問題の担当を命ぜられ、積極的に出兵方針を推し進めることになる[47]。4月4日には台湾蕃地事務局長官となり、出兵のための船を閣議に図らず大蔵卿の職権で独断で確保した[48]。大隈は出兵を命ぜられた西郷従道とともに長崎に向かったが、その間にイギリスとアメリカから抗議があったため、出兵を一時見合わせる方針となった。ところが西郷は独断で出兵を行い、政府も追認せざるを得なくなった。この間、大隈が西郷の出兵を止めようとしたという記録は残っていない[49]。大隈は出兵後も駐兵を続けるべきと主張していたが、大久保らが早期撤兵の方針を取ると、それに従った[50]。5月23日には左大臣となっていた島津久光が、大隈とその腹心である吉田清成の免職を要求した。大隈は病気を理由に辞表を提出したものの、台湾問題の最中に担当者である大隈を辞職させることもできず、久光の意見は却下された[51]。

明治8年（1875年）1月4日には「収入支出ノ源流ヲ清マシ理財会計ノ根本ヲ立ツルノ議」という意見書を三条宛に提出し、条約改正の実現と、間接税の重視と内需の拡大、官営事業の払い下げなどを主張している[52]。2月11日の大阪会議の開催については全く知らされておらず、大隈を嫌うようになっていた木戸の復帰は、大隈の権力基盤を脅かすこととなる[53]。このころから大隈は体調を崩したとして出仕せず、三条・岩倉・大久保らは大隈の大蔵卿からの解任を検討しているものの、後任候補の伊藤が受けなかったことや、大隈以上の財政家がいないことを理由に大隈を慰留して続投させた[54]。しかし復帰した木戸と板垣退助も大隈の辞任を要求し、大久保が大隈を庇護する形となった[55]。久光と板垣が10月29日に辞職し、木戸も病気が悪化したことで大隈への攻撃は消滅することとなる[56]。
伊藤政権下の大隈

明治11年（1878年）5月14日に大久保が紀尾井坂の変によって暗殺されると、政府の主導権は伊藤に移った[57]。大隈は大久保暗殺を聞いた後、伊藤に「君が大いに尽力せよ、僕はすぐれた君に従って事を成し遂げるため、一緒に死ぬまで尽力しよう」と述べている[57]。

大隈は、会計検査院創設のための建議を行っており、会計検査院は明治13年（1880年）3月に設立された。明治14年（1881年）には、正確な統計の必要性を感じ統計院の設立を建議・設立し、自ら初代院長となった。

1879年6月27日、大蔵卿大隈は、地租再検延期・儲蓄備荒法の設定・紙幣消却の増額・外国関係の度支節減・国債紙幣償還法の改正の「財政四件ヲ挙行センコトヲ請フノ議」を建議する。

明治13年（1880年）2月28日、参議の各省卿兼任が解かれ、大隈も会計担当参議となった[58]。大隈は佐賀の後輩である佐野常民を大蔵卿とし、財政に対する影響力を保とうとしたが、大隈が提案した外債募集案に佐野も反対したことで、大隈による財政掌握は終焉を迎えた[59]。またこのころから伊藤・井上らから冷眼視されるようになり、井上は駐露公使に大隈を据えるなどの左遷案を提案している[60]。
明治十四年政変「明治十四年の政変」も参照

そのころ自由民権運動の盛り上がりにより、各参議も立憲政体についての意見書を提出する動きがあったが、大隈はこれになかなか応じなかった。明治14年（1881年）1月には伊藤・井上・黒田清隆とともに熱海の温泉宿で立憲政体について語り合ったが結論は出なかった[61]。3月、大隈は意見書[注釈 5]を提出するが、それは2年後に国会を開き、イギリス流の政党内閣とするという急進的なものであり、しかも伊藤ら他の内閣閣員には内密にしてほしいという条件が付けられていた[62]。7月にこの意見書の内容を知った伊藤は驚愕し、大隈は「実現できるような見込みのものではない」と弁明したが[63]、伊藤は抗議のため出勤しなくなり、大隈は7月4日に謝罪することとなる[64]。

7月26日、自由民権派の『東京横浜毎日新聞』が北海道開拓使による五代友厚への格安での払い下げを報道し、世論が沸騰した[65]。