下士官は、士官の下にあって、主に小部隊・部署を指揮する階級である。徴兵制軍隊の場合は、兵卒は国民の義務として勤めるもので、下士官は職業軍人とされるものの中では最下位にあたり、明治初期の大日本帝国陸軍の下士官養成機関である陸軍教導団の生徒採用条件にもあるように、必要とされる能力は、字が読めること、計算ができること、程度である。その位置付けは当該国の官吏制度によって異なり、多くの国では雇員・傭人の扱いであるが、日本の陸海軍省においては判任官とされた。
兵からの叩き上げで任じられるのが基本である。一般に、陸軍では小隊長の補佐や分隊長を務める。また、海軍では技術の専門家として士官の指揮に従って技術を掌り、また水兵を指導することになる。軍隊の背骨と言われ、兵からは“鬼”と評され士官以上に恐れられることもある。士官候補生が下士官の階級を指定されたり、技術者が入営して技術担当下士官となることもあるが、下士官の職務に就くわけではない。
士官は、各国軍で類似の区分（将官・佐官・尉官に大別され、さらに大・中・少に区分される）がされているが、下士官の区分は、地域、時代または軍種により差異が大きく、対応関係を論じるのは困難である。大日本帝国陸軍の階級は1905年以降、曹長・軍曹・伍長の3つに大別されたことから、外国の下士官の階級を翻訳するに当たっては同じ区分によるものも多い。
「武力攻撃事態において捕虜の待遇に関する1949年8月12日のジュネーヴ条約」では、捕虜となった場合の下士官の業務について定められている。捕虜となった下士官は、捕虜の業務を課せられることがあるが、兵と異なり監督者としてのものに限られている。
近年の軍事組織においては、インターネットをはじめとする、情報技術の革新によって、従来のピラミッド型組織の形態に大きな変革を及ぼしつつある。これらの技術革新により、小組織の効率的な運営と、ミクロ的視野、マクロ的視野の境界の不鮮明化により、人類が生み出す組織形態に一大異変を生じている。よって熟練した現場指揮官による戦略的視野に立った行動の決断が可能になり、軍事組織における下士官（自衛隊の曹階級）は、存在意義を飛躍的に向上した。アメリカ軍では軍事における革命を理論レベルから、現実のものとし、トランスフォーメーションを実現しつつある。自衛隊においては、先任伍長制度の採用と、一般曹候補生の制度の精鋭化を目指し、高齢化社会国家のなかでの組織の活性化に試行錯誤をしている。
1877年（明治12年）10月10日改正の陸軍武官官等表によると、工長等を除く兵科の下士（当時は「下士官」ではなく「下士」と呼称されていた）は、曹長一等、曹長二等、軍曹一等、軍曹二等、伍長一等、伍長二等の6階級に分類されていた。その後、伍長の官名が廃止されると共に区分が簡略化されて、曹長（判任官2等）、一等軍曹（判任官3等）、二等軍曹（判任官4等）の3階級とされた[2]。明治32年12月1日に、「伍長」の名称を復活させ、旧「一等軍曹」を「軍曹」と、旧「二等軍曹」を「伍長」とそれぞれ改称した[3]。
1874年（明治7年）10月31日当時の常備兵満員の場合の部隊の下士の総員は約6,484名とされていた[4]。また、この当時の下士の服役期限は7年であった[5]。この頃は陸軍教導団が下士養成を担った。
二等卒（昭和7年以降は二等兵）として徴兵された場合、一等卒（昭和7年以降は一等兵）までは自動的に昇級するが、上等兵以上は選抜によって昇級することとなる。判任官たる伍長以上となると勤続年数が20年以上に及んだ場合、叙位叙勲の栄誉を受ける機会もあり、また明治37年3月2日には、伍長任官6年以上勤続し、かつ勤務成績が優良なる者に対しては下士官勤功章などの表彰記章が授与された。
下士官は、内務班長（陸上自衛隊の営内班に相当する）の任に就くことが多く、そのため兵卒から下士官へ呼びかける際に「班長」と呼称することが多かった。これを第二次世界大戦中・進駐後の日本・朝鮮動乱中の韓国軍との共同行動中などに見聞したアメリカ兵によって、honcho（班長）の語が英語に流入することになった。
士官候補生は、一般の兵卒と同じ階級が指定され、上等兵から伍長、軍曹、曹長に順次昇進することとなっていた。
なお、朝鮮軍人たる下士官は、旧韓国軍時代の階級名をそのまま保持し、陸軍○○特務正校（特務曹長相当）、陸軍○○正校（曹長相当）、陸軍○○副校（軍曹相当）、陸軍○○参校（伍長相当）という階級名が用いられる。韓国軍では「大・中・少」ではなく「正・副・参」の順序が用いられ、また「校」が下士官を表していた（朝鮮軍人参照）。
明治19年3月9日勅令第4号の時点では陸軍武官官階を次のように分類されていた。
判任官1等（准士官）：陸軍2等軍楽長
判任官2等（曹長相当官）：陸軍砲兵火工長、陸軍1等○○（軍吏部は書記、軍医部は看護長、獣医部は看馬長）、軍楽次長
判任官3等（1等軍曹相当官）：陸軍騎兵蹄鉄工長、陸軍砲兵火工下長、陸軍砲兵○工長（○は鞍・銃・木・鍛・鋳）、陸軍2等○○（曹長相当官に同じ）、1等軍楽手
判任官4等（2等軍曹相当官）：陸軍騎兵蹄鉄工下長、陸軍砲兵○工下長（○は鞍・銃・木・鍛・鋳）、陸軍3等○○（曹長相当官に同じ）、2等軍楽手
詳細は下士官 (日本海軍)を参照
自衛隊においては、下士官に相当する自衛官を「曹」と呼称している。分類は陸海空共通で、曹長、1曹、2曹及び3曹に分類されている。陸上自衛隊の曹は陸曹、海上自衛隊の曹は海曹、航空自衛隊の曹は空曹とそれぞれ呼称されている。准尉の下、士の上に位置している。自衛隊では原則として曹以上が非任期制隊員となる。
1950年（昭和25年）から1954年（昭和29年）まであった警察予備隊・保安隊・海上警備隊・警備隊では、下士官の階級を「士補」としていた。1954年7月発足の自衛隊では、「士補」の階級名を取りやめ、旧陸海軍で下士官の階級名に用いられていた「曹」の語を用いることとして3つに区分した。
当初は、曹は1曹、2曹及び3曹と3つに分類とされていたが、1980年（昭和55年）11月には曹長（陸曹長、海曹長及び空曹長）が新設された。なお、曹（1970年-1980年は1曹、1980年-は曹長が最上級）の上に准尉（准陸尉・准海尉・准空尉）の階級が1970年（昭和45年）5月に設けられた。
自衛隊の曹は、士から昇任してなる者、または一般曹候補生、陸上自衛隊生徒等からなる者がある。