官界に入り、主に財政に力を入れた。明治6年（1873年）、司法卿江藤新平に尾去沢銅山の汚職事件を追及され辞職。一時は先収会社を設立するなどして実業界にあったが、伊藤博文の強い要請のもと復帰し、外務卿、外務大臣、農商務大臣、内務大臣、大蔵大臣を歴任。明治16年（1883年）、外務卿として不平等条約改正交渉のため、鹿鳴館を建設。さらにパリやベルリンに劣らぬ首都を建設しようと官庁集中計画を進めた（井上辞任に伴い頓挫した）。
また実業界の発展にも力を尽くし、紡績業・鉄道事業などを興して殖産興業につとめた。明治17年（1884年）華族令で伯爵、明治40年（1907年）には侯爵に陞った。日本郵船・藤田組と密接に関係し、特に三井財閥においては最高顧問になるなど、これを快く思わなかった西郷隆盛からは“三井の大番頭”ともいわれた。第4次伊藤内閣の崩壊後、大命降下を受けて内閣総理大臣に就任する予定になったが、政局の運営に見通しが立たないと判断すると、総理大臣就任を辞退して桂太郎に地位を譲った（なお、第2次伊藤内閣の内相時代に伊藤が交通事故に遭ったために1ヶ月余り首相臨時代理を務めている）。伊藤亡きあと、西園寺公望や松方正義などと共に元老として、政官財界に絶大な勢力を誇った。
大正4年（1915年）、静岡県興津町（現：静岡市清水区）の別荘・長者荘にて死去した。
長州藩と薩摩藩は天保時代に国情に応じた改革を実行することで藩の財政を改善し、幕末には雄藩と言われる程の力を得ていった。幕府だけでなく、各藩にとっても大きく方針の揺れ動いた時代であるが、方針すら決めかねる程の難題に、頭を痛めるだけで逡巡している立場、先鋭化した立場、個人に至るまで様々な情況に立たされていたが、藩自体の富国強兵策は各藩各層に共通した目標であった。雄藩は、若者に世界への目を開かせる為に比較的鷹揚に金を使わせた。薩摩藩に至っては19名以上もイギリスに留学した。
維新後については、制度を作りながら諸施策を進めていくと言った、行政の舵取りが必要であったが、明治初期に重職に就いた者の中で理財の才能を持った者は、井上馨がその筆頭に挙げられ、財政の建て直しに大変な努力をしている。長州藩は幕府転覆の最大の功労藩で権限も集中していたから、更に理財の才能のある者達が井上の周囲に集まって来ていたと考えられる。
外務大臣としての従事期間は長く、その間、条約改正に献身的な努力を注いでいた。その成果は次の大隈重信・青木周蔵・陸奥宗光らに至って現れて来ていると考えられる。外交はその国民の代表との長い信頼関係の構築の結果として醸成されてくるものであるから、国内での影響力と同じ尺度で評価する事は適切ではない。井上は維新政府の財政面から国家運営を見ていた為に、諸外国との戦争は極力避けたいと願っていた事が窺い知れる。
林学博士中村弥六によると「世話好き。一旦見込んだ人には身分や出身地の如何に関せず常に満身の誠意を傾注して世話をやいた」という。直情径行で曖昧を許さない。必要な場所に自身で出かけて行き、膝詰談判をした。意にそまぬ事があると一喝にあう。この一喝にあってそれっきり寄り付かぬ者、敵になった者もあるが元来親切から出ているので、一喝にあっても怯まず、自ら偽らず自信のある者は後に出世した者が多い。 叱咤と怒声から『雷』とあだ名されたが、渋沢栄一は井上の信頼を得て雷鳴に対する安全地帯であったから『避雷針』と異名を付けられていた。
徳富蘇峰の評では、「彼は官業反対論者なり。彼は徹頭徹尾民間が出来る業をお役人がやる事は非能率で民間の業を圧迫妨害するのみならず、自ら屋上屋を架し…」と井上の合理主義者としての面に触れている。
明治維新から20年間について伊藤と井上馨の人物評を、大隈が次のように言っている。「伊藤氏の長所は理想を立てて組織的に仕組む、特に制度法規を立てる才覚は優れていた。準備には非常な手数を要するし、道具立ては面倒であった」「井上は道具立ては喧しくない。また組織的に、こと功を立てるという風でない。氏の特色は出会い頭の働きである。一旦紛糾に処するとたちまち電光石火の働きを示し、機に臨み変に応じて縦横の手腕を振るう。ともかく如何なる難問題も氏が飛び込むと纏まりがつく。氏は臨機応変の才に勇気が備わっている。短気だが飽きっぽくない。伊藤氏は激烈な争いをしなかった。まず勢いに促されてすると云うほうだったから敵に対しても味方に対しても態度の鮮明ならぬ事もあった。伊藤のやり口は陽気で派手で、それに政治上の功名心がどこまでも強い人であるから、人心の収攬なども中々考えていた。井上は功名心には淡白で名などにはあまり頓着せず、あまり表面に現れない。井上氏は伊藤氏よりも年長であり、また藩内での家格も上で、維新前は万事兄貴株で助け合ってきたらしい。元来が友情に厚く侠気に富んだ人であるから伊藤氏にでも頼まれると、割の悪い役回りにでも甘んじて一生懸命に働いた。井上氏がしばしば世間の悪評を招いた事に中にはそういう点で犠牲になっているような事も多い」
仕事上で特に深く交際した人は、渋沢栄一、益田孝等はじめ多数。長寿であった為、縁者である若者鮎川義介（実姉常子の孫）や鮎川の義弟久原房之助への指導もしている。
親友としては、吉富簡一（山口矢原の庄屋の生れ・初代山口県会議長・防長新聞創立、政友会を支援した）。高杉晋作と伊藤博文については特に仕事を離れても親しく交際していた事は言うまでもない。
仕事外での交際としては、歌舞伎役者の市川團十郎（芝金杉で河原座を営業し失敗、借財の整理に協力した）、落語家の三遊亭圓朝、清元のお葉、義太夫の竹本越後太夫らが挙げられる。
家族親族
孫にあたる東大名誉教授井上光貞は日本古代史の研究者として知られた
系譜
井上氏
光享─┬光遠＝＝馨＝＝┬勝之助＝＝三郎─┬光貞 │ │ │ └馨 ├千代子 ├元勝 │ │ └可邦子 ├元廣 │ └武子 桂太郎━━井上三郎 ┃ ┣━━━井上光貞 ┃ ┃ 井上馨━━千代子 ┃ ┃ 伊達宗徳━━二荒芳徳 ┃ ┃ ┏明子 ┣━━┫ ┃ ┗治子 北白川宮能久親王━━━拡子 ┃ ┃ ┏石坂一義 ┃ ┣石坂泰介 ┃ 石坂泰三 ┣石坂泰夫 ┃ ┃ ┣━━╋石坂泰彦 ┃ ┃ 織田一━━雪子 ┣石坂信雄 ┃ ┣智子 ┃ ┗操子 ┃ 霜山精一━━霜山徳爾
