1871年2月11日（明治3年12月22日）に海軍服制を制定して軍服や階級章を定めたときに下等士官以下は帽で曹長・権曹長・軍曹・伍長・卒を区別して、軍曹の帽は黄線1条、曹長以下軍曹までは肘上章により水夫長、按針手、砲手、機関手、縫帆手、木工、鍜治を区別した[106]。

1872年2月20日（明治5年1月12日）に海軍省が定めた外国海軍武官に対応する国内の海軍武官の呼称ではペッチー・ヲフヰサル・フィルスト・クラスを一等軍曹に、ペッチー・ヲフヰサル・セコンド・クラスを二等軍曹に、ペッチー・ヲフヰサル・ソルド・クラスを三等軍曹に対応させている[107]。

1872年5月21日（明治5年4月15日）から降級・昇級等については少尉以下軍曹までは海軍省において伝達することにする[108]。

1872年9月27日（明治5年8月25日）の軍艦乗組官等表では三等筆生・掌砲長属・水夫長属・艦長端舟長・大端舟長・甲板次長・檣樓長・按針次長・信号次長・帆縫次長・造綱次長・船艙長・木工長属・火夫次長・鍛冶次長・割烹を二等下士に分類して軍曹相当とした[109]。

1872年10月30日（明治5年9月28日）に海軍中等士官曹長以下の禄制を定めたときに、一等中士以下を乗艦の官員に充て、軍曹を含む曹長以下を海兵官員に充てることとした[110]。
海兵隊

海兵隊は1871年（明治4年8月）から募集編隊を始めており[6]、兵部省官等表の十三等に軍曹を掲載した[32]。

明治4年には水兵本部によって海兵の軍曹を命ずる例が見られる[注釈 24]。

海兵隊の軍曹・伍長は諸艦の裨官[注釈 25]並びに押伍官[注釈 26]に準じ取り扱うとし[6]、1872年4月12日（明治5年3月5日）に各艦乗組裨官は改めて軍曹を命じている[115] [116]。

1872年5月21日（明治5年4月15日）から降級・昇級等については少尉以下軍曹までは海軍省において伝達することとし[108]、明治5年には海軍省によって軍曹を任官する例が見られる[注釈 27]。

1873年（明治6年）5月8日に陸軍と揃えるために海軍武官官等表を改正し軍曹を十二等にした[121]。この際に海軍省が定めた曹長以下の外国名との比較によると軍曹をサーヂェントに対応させている[122]。

1875年（明治8年）11月12日に布告した海軍武官及文官服制（明治6年11月改定）の海兵隊服制・下によると、砲兵・歩兵とも練兵教授・教佐附一等書記課軍曹[注釈 28]の帽は曹長と同じで、一等大砲教授課軍曹と一等小銃射法教授課軍曹の両腕にある桜花は2等・3等ではこれを除き、旗章軍曹の両腕には旗がある。これらの軍曹は隊附・教佐附二等書記課・主計課・病室附・武器課・砲車課・給養附一等書記課軍曹と区別した、常服の両腕の山形線の数は砲兵・歩兵とも軍曹は3本である[123]。

1876年（明治9年）8月に海兵を解隊した[7]。その後、配置転換が完了したことから、1878年（明治11年）2月19日に海軍文武官官等表から海兵部の部目を削除して海兵隊の軍曹は完全に廃止された[8]。
自衛隊

軍曹という呼称は使用せず、「1曹」、「2曹」、「3曹」というように等級と組み合わせた略称で呼称する。「自衛隊用語」も参照

旧陸軍及び自衛隊双方に曹長という階級が存在するため、自衛隊の曹長はそのまま旧陸軍の曹長や旧海軍の上等兵曹相当、曹長の下の1曹が旧陸軍の軍曹や旧海軍の一等兵曹相当であると誤解されがちだが、これは間違い。自衛隊には元々曹長という階級は設けられておらず、1曹が旧軍の曹長や上等兵曹相当であったため、2曹が軍曹や一等兵曹相当である。ちなみに自衛隊の曹長は諸外国陸軍、空軍の上級曹長および海軍の上級上等兵曹に相当する。なお、2等陸曹の英訳がStaff SergeantではなくSergeant First Classなのは、自衛隊創設当時にアメリカ陸軍でStaff Sergeantが廃止されていた時期[注釈 29]であった頃の名残である。なお2等海曹は旧海軍の一等兵曹に相当するが、英呼称ではPetty Officer 2nd classと1942年以前のものが使用されている。詳細は「下士官#自衛隊」を参照
アメリカ陸軍

アメリカ陸軍の場合、
一等軍曹: Sergeant First Class

二等軍曹: Staff Sergeant

三等軍曹: Sergeant

が日本語では一般に「軍曹」又は「○○軍曹」と訳される。アメリカ陸軍においては、三等軍曹?二等軍曹が小隊隷下の分隊長、一等軍曹が小隊長たる尉官の補佐役（小隊付軍曹）として運用される。「シェブロン」（矢羽）と呼ばれる<<<マークが軍曹の階級章であり、二等、一等と階級が上がる度に「 ) 」（ロッカー。揺り子）が下に1つずつ増え、<<<)))が曹長の階級章である。上級曹長や先任上級曹長になると最下段の矢羽と最上段の揺り子の間にダイヤモンドなどのマークが追加される。ちなみに<<は軍曹の下位の下士官の伍長、<は更にその下の兵長（上等兵ではない）となる。
イギリスの王室騎兵隊

イギリスの王室騎兵隊には、「軍曹」（Sergeant）の階級が置かれていない。これは、「軍曹」（Sergeant）という語が「召使い」（Serjeant）に由来するためである（詳細はブルーズ・アンド・ロイヤルズ参照）。
軍曹に関する記録

1944年にフランスで行われていたレジスタンス運動では、少年兵まで動員して抵抗運動が行われていた。その中で、6歳の少年がメッセンジャーボーイとして活動中、味方からの攻撃に巻き込まれて死亡。死後、1950年に軍曹に昇格している[124]。

軍曹の異名を持つ人物

R・リー・アーメイ - 「一等軍曹（Gunny）」というニックネームで知られる元アメリカ海兵隊員の俳優。映画『フルメタル・ジャケット』でハートマン軍曹役を演じたことからこのニックネームがついた。実際には二等軍曹で退役したが、後に一等軍曹（Gunnery：Sergeant）へ名誉昇進した。

山本小鉄 - 新日本プロレス学校校長時代に「鬼軍曹」の異名が付いた。

大下剛史 - 広島東洋カープヘッドコーチ時代に「鬼軍曹」の異名が付いた。

ドゥンガ - 「鬼軍曹」のあだ名で知られるサッカー選手。

村井美樹 - 水バラ『ローカル路線バスVS鉄道 乗り継ぎ対決旅』（テレビ東京）で鉄道チームリーダーを務め、「鬼軍曹」の異名を持つ。

守屋茜 - 女性アイドルグループ・櫻坂46の元メンバーで、愛称の一つが「軍曹」。

永瀬拓矢 - 将棋棋士。将棋に対するストイックな姿勢から「軍曹」の異名が付いた。

武宮敏明 - 長年に渡り、読売ジャイアンツの合宿所の寮長を務め、「鬼軍曹」「鬼寮長」の異名で知られた。

川中島将棋の駒

脚注[脚注の使い方]
注釈^ 1871年6月27日（明治4年5月10日）に元軍曹並びその他の終身禄を賜う者を永世士族に編入した[3]