軍隊の階級はその軍・時代によっていろいろな名称が存在するが、「卒伍のうち優秀なものを登用し兵のまとめ役とする」階級が存在し、序列として尉官の下になる点はおおむね同じである。

軍曹以上を下士官として扱うか、あるいはその下の階級以上を下士官として扱うかについては国や時代により差があるが、下士官の分類として重要な位置づけとなっている[注釈 4] [注釈 5]。

軍曹は分隊長を務めることがある。その場合、率いる兵員は10名から20名程度のことが多い。

軍曹は、兵の教練役や部隊の士気と秩序の維持を担うため、畏敬と揶揄を込めて「鬼」「鬼軍曹」などとも呼ばれる。

また新米将校の補佐役としての役割も大きく、戦術レベルにおいて古参軍曹の見解は新米将校の判断より重んじられる場合がある。
日本陸軍
1871年（明治3年12月）の軍曹

版籍奉還の後、1871年2月11日（明治3年12月22日）に各藩の常備兵編制法を定めたときの歩兵大隊や砲兵隊の中の下等士官の最下級である[4] [5] [注釈 6] [注釈 7] [注釈 8]。曹長・権曹長と軍曹を総称して下等士官といいその下に伍長を置き、下等士官と伍長の四職は少佐が選抜して藩庁へ届出させ、下等士官の採用・離職・降級・昇級は毎年2回まとめて兵部省へ届出させた[4] [5]。

1871年4月2日（明治4年2月13日）に御親兵を編制して兵部省に管轄させることになり[17]、また同年6月10日（同年4月23日）に東山西海両道に鎮台を置いて兵部省の管轄に属すことになり[18]、明治4年5月には兵部省によって軍曹を命じる例や、会計書記軍曹・倉庫掛軍曹・喇叭軍曹・給養軍曹・射的軍曹を命じる例が見られる[注釈 9]。

陸軍徽章で定めた軍服や階級章は、紐釦並びに帽前面章は下等士官と伍長以下で区別しており、下等士官の釦は真鍮桜花、前面章は真鍮日章であるのに対して、兵卒・伍長共に釦は真鍮隊号を附け、前面章は塗色日章とした[27]。下等士官と兵卒は軍帽の周囲黄線、上衣の袖黄線でその階級を区別しており、軍曹は軍帽・袖章とも大1条である[28]。親兵についても軍曹を下等士官としており、その紐釦・帽前面章、軍帽・袖章は同様の区別をしている[29]。また、兵部省陸軍下等士官給俸定則でも、曹長以下軍曹以上については衣服は官給、食料は自弁とすることができるのに対し、伍長以下二等兵卒以上は衣服食料とも官給とした[30]。
1871年（明治4年8月）の軍曹

廃藩置県の後、1871年（明治4年8月）の陸軍においても下等士官の最下級であった[注釈 10]。曹長・権曹長の下、伍長の上にあり、官等は15等のうちの十三等である[32] [注釈 11]。官等表に掲載する大尉以下軍曹までを判任としたのに対し、官等表に掲載しない伍長以下兵卒までを等外として扱った[35]。明治5年1月の官等表改正後も同年2月の陸軍省設置後も軍曹以上は判任で伍長以下は等外である[36] [37] [38]。

1872年1月13日（明治4年12月4日）に兵部省の指令で定めた鎮台分営士官心得勤辞令書式によると、軍曹の仮任を命ずるときはその達書は隊長名によって陸軍軍曹の心得を以て当分相勤める可き事とし、軍曹の正員を補するのは帥の決を取って命ずるので鎮台本営によって陸軍軍曹を申し付ける事としており、少尉以上の任官とは異なる取り扱いをしている[39] [注釈 12]。

陸軍徽章を増補改定しているが下等士官の釦は真鍮桜花、前面章は真鍮日章であるのに対して、兵卒・伍長共に釦は真鍮隊号を附け、前面章は塗色日章とし、軍曹は軍帽・袖章とも大1条で変わりない[41]。また、兵部省陸軍・士官兵卒・給俸諸定則でも、下等士官については食料として毎月金5両を賜るのに対し、伍長以下は現賄を賜るとした[42]。

1873年（明治6年）3月19日の陸軍武官俸給表では、官名として軍曹、分課として砲兵・騎兵・歩兵、等級として一等・二等、所属として近衛と鎮台があり、これらの組み合わせで俸給額に違いがあった、また列外増給として書翰掛・給養・会計・倉庫掛・火工下長軍曹には増給の規定がある[43]。

1873年（明治6年）5月以前に用いられた各種名義の軍人について、当時の官制に於いて規定した明文がないものの、例えば心得、准官のような名義の者であっても当時は戦時に際して上司の命令を以て実際に軍隊・官衙等に奉職しその任務を奉じたことから、明治25年5月に陸軍大臣の請議による閣議に於いてこれらを軍人と認定しており[44] [45]、これらのうち軍曹に相当するものには次のようなものがある[46] [47]。

軍曹心得[46] [39] [48]
明治3・4・5年の頃にあってその本官の職を取る。本官とは、軍曹は半小隊長の職を取る[47]。

七等下士並び試補[46]
明治元年以降、明治4年頃までのものであって七等下士は軍曹相当であってその職を取り、試補はこれに等しいもの[47]。
1873年（明治6年）5月の軍曹

1873年（明治6年）5月8日の陸海軍武官官等表改正で軍曹の官等を15等のうちの十三等から十二等に繰上げた[33] [注釈 13]。曹長の下、伍長の上であり[33]、このとき下士の最下級は軍曹から伍長に代わる[注釈 11]。曹長・軍曹の人事手続きには伍長との違いがあった[注釈 14]。軍曹一等・軍曹二等と表記することがあるが[52]、官名は軍曹（曹長・伍長も同様）であり給料に関係するためやむを得ない場合の表記である[53]。権曹長を廃止したことから、従前の列外書翰掛権曹長については改定するまで当分の内は二等の曹長としたが、追って編制替えの上で軍曹を以て書翰掛に充てることとなる[54] [43]。

1874年（明治7年）11月30日改正の部隊編成では、軍曹は歩兵連隊書記・会計附属・喇叭長、歩兵大隊書翰掛・会計附属・給養掛、歩兵中隊給養掛・中隊附、騎兵大隊給養掛・厩掛・大隊附、山/野砲兵大隊会計附属、山/野砲兵小隊（本隊）砲車長、山野砲兵小隊（予備隊）火工下長・器械掛・給養掛、工兵小隊器械掛・給養掛・小隊附、輜重兵小隊給養掛・厩掛・小隊附である[55]。