文久2年（1862年）秋に上洛し、藩主の世子である毛利定広の警護を務めるようになった。同年12月、高杉晋作・久坂玄瑞・志道聞多（のちの井上馨）・伊藤俊輔（のちの伊藤博文）・品川弥二郎らとともに攘夷の血判書（御楯組血判書）に名を連ねた[10]。文久3年（1863年）3月31日、孝明天皇の攘夷祈願の賀茂神社行幸に際して、御前警護のため毛利定広に随行した。4月11日の石清水八幡宮への行幸にも同様に随行した。八月十八日の政変では長州藩兵として堺町御門の警備を担当し大砲掛となるも、公武合体派に排除され、三条実美以下7人の尊皇攘夷派公卿の長州亡命（七卿落ち）に同行した[10]。しかし途中で兵庫から大坂経由で京都へ一旦戻り潜伏、後に長州へ帰国した。藩から遊撃隊御用掛に任命された。慶應1年（1865年）に普門寺塾で大村益次郎から西洋兵学を学んだ[11]。後に大村の遺志を継いで、陸軍創設へ大きく貢献する[12]。

元治元年（1864年）7月、禁門の変では山崎に布陣する久坂玄瑞・真木保臣らの陣に加わったものの長州勢は敗北し、山田も長州へ落ち延びている。8月、太田市之進・品川弥二郎らと御楯隊を創設し、軍監となって下関戦争で奮戦するも長州藩は敗北した。12月、対幕府恭順論の「俗論派」による藩支配に対する高杉晋作の決起（功山寺挙兵）に参戦し勝利を収め、俗論派を排除する。また、山田亦介が処刑され、市之允は謹慎となる[10]。

慶応2年（1866年）、第二次長州征伐では藩海軍総督の高杉晋作から丙寅丸の砲隊長に任命され、6月に周防大島沖で幕府軍艦を奇襲攻撃。7月、御楯隊司令として芸州口に転戦、数々の勝利を収めた。7月20日に将軍・徳川家茂の死去により第二次長州征伐は休戦となった[10]。

慶応3年（1867年）5月、御楯隊と鴻城隊を合体した整武隊の総管に就任[10]。11月、薩摩藩から倒幕の出兵要請を受けた藩主・毛利敬親の命令で、長州藩先鋒隊の総隊長として三田尻（現山口県防府市）を出発し、全軍総督である毛利内匠の東征軍先鋒隊700人余とともに海路で京都に入った[13]。

慶応4年（1868年）1月、戊辰戦争の発端となる鳥羽・伏見の戦いで在京長州藩兵諸隊の指揮官として、1,000余名ほどの長州藩兵を率いることとなった。新政府征討総督・仁和寺宮嘉彰親王の征討総督副参謀に命じられる。長州藩勢は、伏見口のところで京を保護、約1万の幕府軍（遊撃隊）を引き払った。その後、山田と麾下の部隊は、大坂、京の守備にあたり、4月、三田尻に凱旋した。その頃、江戸城明け渡しを果たし、上野戦争で彰義隊に勝利した新政府軍（官軍）は、会津藩を中心とする奥羽越列藩同盟諸藩との戦いに入った。東北から新潟方面で起きた北越戦争は、北陸道鎮撫総督参謀になったばかりの黒田清隆・山縣有朋が奇兵隊を率いて、5月に長岡城を占拠した。しかし、アームストロング砲、ガトリング砲、エンフィールド銃、スナイドル銃、シャープス銃（軍用カービン）で武装した長岡藩兵を主軸とする精鋭兵に手こずり、長岡軍がアームストロング砲で榴散弾を発射して、奇兵隊ら新政府軍の頭上で爆発させる戦術を用いて、多大な損害を与えた。新政府軍はやむなく守勢に置かされた。それを克服するため、山田は先年にイギリスで完成した長州藩の艦艇「第一丁卯」に乗船を命じられ、5月に薩摩艦「乾行丸」、筑前艦「大鵬丸」も同行し馬関（現下関）を出発、越後海域に向かった[13]（山田は山縣に協力して、海軍の戦闘を助力した）。

明治元年（1868年）5月、柏崎を拠点に新政府軍は、奥羽越列藩同盟の海からの補給路を完全に遮断するために、新潟港を手中に収める必要があったため、山田は「衝背作戦」を発案し実行した。この作戦のための兵士を乗せた輸送艦が柏崎に入港した7月、越後口海軍参謀（陸軍参謀兼海陸軍参謀）に命じられる。25日、官軍は占拠した長岡城を長岡軍に奪還されるが、同日、新政府軍が阿賀野川口東にある松ヶ崎・大夫浜に上陸する。その間、同盟軍の退路を断つとともに新潟の占領に成功する。また、29日には再度長岡城を占拠することに成功した。8月末頃、山田は援軍要請のため京に赴いたが、長州藩の衰退で増援はできなかった。9月4日に米沢藩、9月10日に仙台藩、9月22日に会津藩が相次いで降伏し、他の東北諸藩もこれに続いたため、新政府軍の戦略計画は変更になった。幕府海軍副総裁・榎本武揚は、指揮下の艦隊を率いて江戸を脱出、会津藩などの残存兵を吸収して、10月に蝦夷地に上陸する。榎本軍は新政府（箱館府）が置かれていた五稜郭を占拠した。新政府は、榎本軍と対戦するため青森に兵力を集めた。11月、青森口陸軍参謀（海軍参謀含）に命じられる。榎本軍・旧幕臣・同盟軍は蝦夷島政府（蝦夷共和国）を樹立して、新政府からの独立を試みた。明治2年（1869年）4月、新政府軍は箱館攻撃を開始、輸送艦3隻（1隻に1,500名ほど）に乗り青森を出発し、江差北方の乙部村に上陸する。五稜郭の戦い[14]で勝利し、戊辰戦争は終結した[13]。
明治維新軍服姿の山田顕義

明治2年（1869年）6月、宮中において黒田清隆らとともに明治天皇に謁見、戦功を賞される。陸海軍参謀の任を解かれ、新官制（太政官制）施行による兵部大丞に就任、長州藩少参事兼任を命ぜられる。同年8月、山口凱旋。顕義と改名する。同9月、維新の軍功により新政府から永世600石の禄を下賜されるが、大村益次郎の暗殺未遂により、藩命で急ぎ上京する。病床の大村より日本近代軍制の創設について指示を受け、11月には兵部少輔久我通久と連署で、結局大村は死去するが、その遺策をまとめた『兵部省軍務ノ大綱』を太政官に提出した。以後, 大阪を中心とした兵部省確立に尽力する。同じ長州出身の前原一誠らと共に国軍の建設を進めようとしたが、省内の統制がとれず仕事は停滞する。国軍の建設が進展をみせたのは、欧州視察から帰国した山縣有朋が兵部少輔（国防次官補）に、西郷従道が権大丞（局長の次）に就いてからであった[15]。

明治3年（1870年）、亡き大村の計画に従い、大坂城跡に設置された大坂兵部省出張所と東京の本省とを往復する日々を過ごす。5月頃から畿内限定の徴兵制（辛未徴兵）施行の政府有力者への働きかけを開始する。これも大村の計画によるものであった。9月には普仏戦争の観戦を強く希望するが、川村純義ら他の兵部省員らも希望したため、省務の停滞を危惧した大久保利通らの指示により許可されなかった。この年、井上馨の養女で湯田温泉瓦屋の鹿島屋喜右衛門の長女龍子と結婚する。

明治4年（1871年）1月、大坂にて辛未徴兵を開始するも、5月には事実上延期となる[注 3]。これは徴兵の質、および指導士官や施設の不足などの根本的な問題のためだった。7月、陸軍少将に任命された。

幕末に欧米諸国との不平等な条約を改正することが、新政府の重要課題で、欧米と対等な交渉をするためにも、日本は近代法の整備が急務となった。

同年11月、岩倉使節団に軍事制度調査のため、兵部省理事官として随行する[16]。サンフランシスコ、ソルトレイクシティ、シカゴを経由し、ワシントンD.C.に到着。明治5年2月（1872年3月）、岩倉らと別れて原田一道ら兵部省一行とともにフィラデルフィアの海軍施設などを見学後、渡仏。