1871年4月2日（明治4年2月13日）に御親兵を編制して兵部省に管轄させることになり[17]、また同年6月10日（同年4月23日）に東山西海両道に鎮台を置いて兵部省の管轄に属すことになり[18]、明治4年5月には兵部省によって軍曹を命じる例や、会計書記軍曹・倉庫掛軍曹・喇叭軍曹・給養軍曹・射的軍曹を命じる例が見られる[注釈 9]。

陸軍徽章で定めた軍服や階級章は、紐釦並びに帽前面章は下等士官と伍長以下で区別しており、下等士官の釦は真鍮桜花、前面章は真鍮日章であるのに対して、兵卒・伍長共に釦は真鍮隊号を附け、前面章は塗色日章とした[27]。下等士官と兵卒は軍帽の周囲黄線、上衣の袖黄線でその階級を区別しており、軍曹は軍帽・袖章とも大1条である[28]。親兵についても軍曹を下等士官としており、その紐釦・帽前面章、軍帽・袖章は同様の区別をしている[29]。また、兵部省陸軍下等士官給俸定則でも、曹長以下軍曹以上については衣服は官給、食料は自弁とすることができるのに対し、伍長以下二等兵卒以上は衣服食料とも官給とした[30]。
1871年（明治4年8月）の軍曹

廃藩置県の後、1871年（明治4年8月）の陸軍においても下等士官の最下級であった[注釈 10]。曹長・権曹長の下、伍長の上にあり、官等は15等のうちの十三等である[32] [注釈 11]。官等表に掲載する大尉以下軍曹までを判任としたのに対し、官等表に掲載しない伍長以下兵卒までを等外として扱った[35]。明治5年1月の官等表改正後も同年2月の陸軍省設置後も軍曹以上は判任で伍長以下は等外である[36] [37] [38]。

1872年1月13日（明治4年12月4日）に兵部省の指令で定めた鎮台分営士官心得勤辞令書式によると、軍曹の仮任を命ずるときはその達書は隊長名によって陸軍軍曹の心得を以て当分相勤める可き事とし、軍曹の正員を補するのは帥の決を取って命ずるので鎮台本営によって陸軍軍曹を申し付ける事としており、少尉以上の任官とは異なる取り扱いをしている[39] [注釈 12]。

陸軍徽章を増補改定しているが下等士官の釦は真鍮桜花、前面章は真鍮日章であるのに対して、兵卒・伍長共に釦は真鍮隊号を附け、前面章は塗色日章とし、軍曹は軍帽・袖章とも大1条で変わりない[41]。また、兵部省陸軍・士官兵卒・給俸諸定則でも、下等士官については食料として毎月金5両を賜るのに対し、伍長以下は現賄を賜るとした[42]。

1873年（明治6年）3月19日の陸軍武官俸給表では、官名として軍曹、分課として砲兵・騎兵・歩兵、等級として一等・二等、所属として近衛と鎮台があり、これらの組み合わせで俸給額に違いがあった、また列外増給として書翰掛・給養・会計・倉庫掛・火工下長軍曹には増給の規定がある[43]。

1873年（明治6年）5月以前に用いられた各種名義の軍人について、当時の官制に於いて規定した明文がないものの、例えば心得、准官のような名義の者であっても当時は戦時に際して上司の命令を以て実際に軍隊・官衙等に奉職しその任務を奉じたことから、明治25年5月に陸軍大臣の請議による閣議に於いてこれらを軍人と認定しており[44] [45]、これらのうち軍曹に相当するものには次のようなものがある[46] [47]。

軍曹心得[46] [39] [48]
明治3・4・5年の頃にあってその本官の職を取る。本官とは、軍曹は半小隊長の職を取る[47]。

七等下士並び試補[46]
明治元年以降、明治4年頃までのものであって七等下士は軍曹相当であってその職を取り、試補はこれに等しいもの[47]。
1873年（明治6年）5月の軍曹

1873年（明治6年）5月8日の陸海軍武官官等表改正で軍曹の官等を15等のうちの十三等から十二等に繰上げた[33] [注釈 13]。曹長の下、伍長の上であり[33]、このとき下士の最下級は軍曹から伍長に代わる[注釈 11]。曹長・軍曹の人事手続きには伍長との違いがあった[注釈 14]。軍曹一等・軍曹二等と表記することがあるが[52]、官名は軍曹（曹長・伍長も同様）であり給料に関係するためやむを得ない場合の表記である[53]。権曹長を廃止したことから、従前の列外書翰掛権曹長については改定するまで当分の内は二等の曹長としたが、追って編制替えの上で軍曹を以て書翰掛に充てることとなる[54] [43]。

1874年（明治7年）11月30日改正の部隊編成では、軍曹は歩兵連隊書記・会計附属・喇叭長、歩兵大隊書翰掛・会計附属・給養掛、歩兵中隊給養掛・中隊附、騎兵大隊給養掛・厩掛・大隊附、山/野砲兵大隊会計附属、山/野砲兵小隊（本隊）砲車長、山野砲兵小隊（予備隊）火工下長・器械掛・給養掛、工兵小隊器械掛・給養掛・小隊附、輜重兵小隊給養掛・厩掛・小隊附である[55]。

1874年（明治7年）に北海道に屯田憲兵を設置することを定め[56]、1875年（明治8年）3月4日に開拓使の中で准陸軍軍曹の官等を定め、その官等は正官と同じとした[57] [58]。

1875年（明治8年）11月24日に改正した陸軍武官服制では、軍曹の袖章は金線1条内記打1条である[59]。

1875年（明治8年）12月17日に定めた陸軍給与概則では、軍曹の俸給は科目として砲・工、騎・輜、歩、等級として一等・二等があり、これらの組み合わせで俸給額が決まる[60]。職務増俸については軍曹は書記・会計附属・器械掛・給養掛・書翰掛・厩掛を務める場合に増俸がある[60]。

1877年（明治10年）1月に官等を17等に増加しているが[61]、1879年（明治12年）10月10日達陸軍武官官等表では軍曹は引き続き十二等としており、このとき官名に憲兵・歩兵・騎兵・砲兵・工兵・輜重兵など各兵科の名称を冠することにした[62]。

1882年（明治15年）2月8日に開拓使を廃止したことから[63]、屯田兵の準陸軍軍曹を陸軍省に管轄させた[64] [58]。

1883年（明治16年）5月4日太政官第21号達で陸軍武官官等表を改正し、憲兵・歩兵・騎兵・砲兵・工兵・輜重兵の各兵科軍曹の官名から陸軍の2字を除いた[65] [66]