また1910年（明治43年）に軽便鉄道法が制定されたため井笠地域の有力家達から鉄道建設の相談を受け[15]、「運行ルートを高屋経由ではなく北川経由にすること」「木之子に駅を建設すること」といった案が出た為着工し、1913年（大正2年）に井笠鉄道が完成した[15]。その他の鉄道業にも多く関与し中国鉄道取締役、豊川鉄道取締役会長、井原笠岡軽便鉄道社長、金剛山電気鉄道社長をつとめた。井笠鉄道完成後は帰郷の時に利用していたと言われている[17]。
死没前後

1920年（大正9年）、紺綬褒章を贈与された[18]。その4年後、1924年（大正13年）6月8日、貴族院勅選議員となり[19]研究会に所属した[20]。1931年（昭和6年）木之子村を流れる稲木川が大雨が降るたびに氾濫していたので、それを改善するため改修工事を始めた[17]。その2年後大日本麦酒が日本麦酒鉱泉と合併交渉を行っている期間に死亡した。1935年（昭和10年）に遺骨が三光寺に帰ったため三光寺で埋骨式が、県主神社で感霊祭が行われた[21]。尚、稲木川の改修が完了したのは死亡する20日前であった[17]。そして恭平が亡くなってから約1年後、木之子の村人によって感謝を込めて稲木川改修祝賀会と恭平銅像除幕式が開催された[17]。墓所は池上本門寺。
馬越講堂と馬越橋

生前の恭平の意思により、馬越家は故郷に寄付を続けた[21]。例えば慎思尋常小学校に馬越講堂を建設する資金として1万円を寄付しており[21]、1934年（昭和9年）から約1年で講堂が完成している[21]。1936年（昭和11年）には馬越橋が完成しているが、これも馬越家が全額寄付している[21]。
日本麦酒の経営

1891年（明治24年）に日本麦酒の再建を託されてから1年で黒字にし、7年連続トップシェアになるなどの業績を挙げた経緯を記述する。
有能な人材の採用、育成

日本麦酒の再建を任された恭平は三井物産で勤務していた際に会計主任をしていた石光真澄を支配人に起用して協力し、業績の回復に尽力したが[11]、石光はその3年後に死亡した[11]。その後は恭平が死亡するまで石光の命日に必ず墓参りをしたという[11]。また技術者を養成する為、技師の上野金太郎、橋本卯太郎をドイツに派遣し最新の製造技術を取り込んだ[22]。
宣伝

宣伝には4者(医者、学者、役者、芸者)の職業が適しているとして活用し、その集まりに行っては恵比寿ビールの売り込みをしていた[22]。また、打ち上げ花火や仕掛け花火で売り込みをしたり、正月になると全ての社員にはんてんを着せ初荷を行うことを年中行事としたりして宣伝効果を上げた[22]。その他にも1889年（明治32年）に東京の新橋に日本初のビヤホールを開業[2][22][23]、万博に出品し金牌やグランプリを受賞するなど成果を挙げている[24]。恭平は国内販売のみに留まらず、2回に亘り朝鮮半島や満州、シベリアなどの海外への売り込みもした[24]。
新たな取り組み

出荷方法として人や馬だけの出荷ではなく、運送するための停車場を設置することを計画、1901年（明治31年）に設置した[24]。その後は恵比寿駅として開駅した[24]。尚、恵比寿駅は現在も地下鉄の駅として残っている。1906年（明治39年）、日本麦酒、札幌麦酒、大阪麦酒が合同で大日本麦酒を誕生させ、その全国シェアは7割を超えた[24]。この時渋沢栄一の要望によって初代社長に就任した[24]。1908年（明治41年）には欧米視察に行き「一人一業主義」「国内自給」を学んだ。