旧日本陸軍では主な編制単位に「総軍」、「方面軍」、「軍」、「集団」、「師団」、「旅団」、「団」、「連隊」、「戦隊」、「大隊」、「中隊」、「小隊」、「分隊」があった。うち平時にも設置されているものは師団から中隊で、軍以上は軍令などにより設置される。小隊・分隊は戦時など、動員の際に中隊を分ち設置される。団以上に司令部が設けられ、連隊以下中隊までは本部が置かれる。
「集団」は師団に準ずる規模のものと師団を統括する規模の物と2種類あった。前者は騎兵集団・挺進集団・飛行集団などがあり、飛行集団は後に飛行師団へと改編された。後者は複数の師団や独立混成旅団を統括するもので、「パラオ地区集団」、「北部マリアナ地区集団」、「南部マリアナ地区集団」などがあった。同様に師団相当ないし軍相当の部隊として「兵団」があり、「支那駐屯兵団」、「東京湾兵団」、「小笠原兵団」、「航空兵団」などが例である。ただし、兵団文字符といった用法のように、師団や旅団などことを総称して「兵団」と呼ぶこともあり、この場合は正式な編制単位としての用法ではない。
師団は主に師団司令部と2個歩兵旅団（各2個歩兵連隊）、砲兵・騎兵・工兵・輜重兵連隊、師団通信隊・衛生隊・野戦病院・兵器勤務隊で構成された。歩兵旅団にはそれぞれ2個歩兵連隊が属していた。これを4単位編制あるいは4単位師団といい、日中戦争が始まった頃まではこの編制が基本となっていた。日中戦争から太平洋戦争が始まる頃には、それまで各師団に4個歩兵連隊ずつあったものを1個連隊ずつ抽出しそれをもって新たな師団を編成した。師団には歩兵連隊が3個ずつ配置されており、それまで歩兵連隊の上位であった歩兵旅団は廃され、歩兵団が編成された。これを3単位編制あるいは3単位師団という。これは作戦地域が広範囲になり、戦略単位である師団の数を増やして対応したためである。歩兵戦力は減少したが、代わりに砲兵・戦車などの部隊を増員したため、諸外国の師団に於いては総合的な戦力は向上したとされる。また、日本では師団長は長く中将の職で、更に特に親補職としていたが、終戦間際に新設された機動打撃師団などの師団長は親補職では無く少将も任命された。その他、一部の教導師団や飛行師団などでは少将が「師団長心得」を務めた。
日中戦争の戦線拡大に応じて、治安維持には師団より小規模な独立混成旅団が多く編成される。独立混成旅団は、1個旅団規模の歩兵部隊に砲兵・戦車・工兵などの特科部隊をあわせて独立した作戦を行えるようにしたもの。多くの独立混成旅団に歩兵連隊は無く、4個または5個独立歩兵大隊と旅団砲兵隊・旅団工兵隊・旅団通信隊などで構成され約5000人規模になる。独立混成旅団はおおよそ100個編成されたが、この内幾つかは師団に改編される。これとは別に、「独立」の名称を冠さない「混成旅団」という編制もあり、一般には、師団全部を動員する代わりに、師団内の歩兵旅団に砲兵などを臨時に分属させて動員したものである。ただし、第二次世界大戦中の師団の一部には、師団内旅団として歩兵旅団の代わりに最初から混成旅団を持つ例がある。
なお、上記以外に「隊」も使用されており、「○○師団通信隊」、「○○師団工兵隊」、「○○師団砲兵隊」、「○○師団戦車隊」、「○○師団捜索隊」、「○○師団輜重隊」など多数が存在し、満州国内に駐留する部隊には連隊と同等規模である国境守備隊や独立守備隊などが配置されていた。
このほか、軍隊区分と呼ばれる作戦上の都合による臨時の組織変えを行うことがあった。支隊の多くはこの軍隊区分の方式で編成されたほか、各師団の患者収容隊や防疫給水部なども軍隊区分で設置されることがある。
航空部隊の編制詳細は「陸軍飛行戦隊#編制」および「陸軍飛行戦隊#上級部隊」を参照
通称号・兵団符号詳細は「通称号」を参照
戦時において部隊の隊号は防諜のため、新聞など一般に戦果を発表する場合は指揮官の姓と部隊の種別を合わせて発表された。独立混成旅団および師団以上は「兵団」、一般旅団と連隊、大隊は「部隊」、中隊・小隊・分隊は「隊」とし、「山田兵団」・「中川部隊」のように使用した。
この使用法は1940年（昭和15年）に改定され「兵団文字符」が制定された。これは各兵団に1文字または2文字の漢字からなる兵団文字符（兵団符号、通称号、防諜名とも言う）を割り当てた。当該兵団本体を呼ぶには「兵団文字符+兵団」の形で呼ばれ、第2師団では「勇兵団」だった。その隷下の部隊には3桁?5桁の番号が割り振られ、「勇第1339部隊（第2師団司令部」）、「勇第1301部隊（歩兵第4連隊）」、「勇第1302部隊（歩兵第16連隊）」のように称した。師団の場合番号が割り振られるのは歩兵旅団または歩兵団および歩兵連隊並びに砲兵・工兵連隊、師団司令部、師団通信隊、野戦病院、衛生隊など。所属している兵団が変わると、勿論兵団文字符が変わるが通常、番号は変わらない。しかし、全部隊を通しての通番ではなかったので変わる事もあった。
軍隊符号「軍隊符号」も参照
軍隊においては部隊などの隊号・種類・兵種などを簡略表記した符号として、記号である「隊標」と文字である「略字」が使用され、これらは軍隊符号と称される。この内「略字」はラテン文字およびアラビア数字・ローマ数字によって構成されており、陸軍ではドイツ語ないし日本語の頭文字、海軍では英語ないし日本語の頭文字が主に用いられた。一例として陸軍においては「SA（総軍）」、「HA（方面軍）」、「A（軍、ドイツ語の Armee より）」、「D（師団）」、「B（旅団・団）」、「R（連隊）」、「b（大隊）」、「K / c（中隊）」などが使用されていた。航空部隊においては概ね「F（ドイツ語の Flieger より）」を冠し、「FSA（航空総軍）」、「FA（航空軍）」、「FD（飛行師団） / KD（航空師団）」、「FB（飛行団）」、「FR（飛行戦隊）」、「Fc（飛行中隊）」など、船舶部隊においては概ね「Se」を冠し、「SeC（船舶司令部）」、「SeU（船舶輸送司令部）」、「SeH（船舶兵団）」、「SeD（船舶団）」などと称した。
また、「独立」の名称を冠する部隊は「s（独立）」を略字の後尾に付し、例として独立歩兵大隊は「s（独立）+i（歩兵）+b（大隊）」から「ibs」と、独立飛行中隊は「s（独立）+Fc（飛行中隊）」から「Fcs」と称す。
隊号はその数字を略字に冠し、「1HA（第1方面軍）」、「10A（第10軍）」、「1TD / 1TKD（戦車第1師団）」、「50FR（飛行第50戦隊）」、「81Fcs（独立飛行第81中隊）」などと称す。
しかしながら、これら軍隊符号の略字は必ずしも固有のものではなく、例として総軍を指す「SA」は兵種たる野戦重砲兵を指すものでもあり、また総軍たる支那派遣軍は「CGA」、南方軍は「NA」と、第二次地大戦末期に編成された第1総軍 (1SA)・第2総軍 (2SA)・航空総軍 (FSA)と異なり「SA」を使用していない。 アメリカ海軍における指揮階梯単位名称艦艇の種類艦艇規模指揮官
近代海軍の階層構造
海軍
Navy海軍内の全艦艇2個艦隊以上海軍元帥から海軍大将
艦隊
Fleet海洋の全艦艇あるいは指定された海域別2個以上の戦闘艦隊海軍大将
戦闘艦隊
Battle Fleet または Task Force全艦種から大多数2個以上の任務部隊海軍中将
任務部隊
Task Force全艦種から多数2個以上の戦隊、小艦隊/隊群または任務群海軍少将（上級）または海軍少将
戦隊または任務群
Squadron
小艦隊/隊群または任務群
Flotilla または Task group通常は中小艦艇2個以上の隊または任務隊海軍少将、海軍准将、海軍代将または海軍大佐
隊または任務隊
Division または Task Unit通常は中小艦艇同一または類似の艦種が少数海軍大佐または中佐
任務分隊
Task Element単艦1隻海軍大佐、海軍中佐、海軍少佐または海軍大尉
補助艦艇は通常、海軍大佐以下の階級の士官が長に充てられる。ここで言う補助艦艇にはコルベット、砲艦、掃海艇、哨戒艇、河川舟艇、艀および魚雷艇が含まれる。一部の駆逐艦、特にフリゲート並みの小型駆逐艦（かつては護衛駆逐艦として知られる）は海軍大佐以下の士官によって指揮される。通常、艦艇が小さいほど艦艇の指揮官の階級は下がる。例えば哨戒艇長には海軍少尉が指揮官に充てられ、フリゲート艦長には海軍中佐が充てられる。
歴史上の海軍は構造について厳格であった。艦艇はまず分艦隊 (divisions) ごとに集合させられ、そしてその次に番号付き小艦隊 (squadrons) が集合し、最後に番号付き艦隊 (fleet) で構成された。 空軍の編制構造は国により変化する。一部の空軍（アメリカ空軍やイギリス空軍）は軍・集団・コマンド commands、飛行群・グループ groupsおよび飛行隊・スコードロン squadronsに分けられている。他には（例えばソビエト連邦空軍）では陸軍式の編制構造を採用している空軍もある。現代のカナダ統合軍航空軍では航空軍最高司令機関と飛行団[注 2]・ウィング wingsの中間結節に航空師団 Air Divisionを設け作戦系統と教育訓練系統に分けて運用されている。イギリス空軍と同様にカナダ空軍は飛行隊を中核にしている。 米式空軍および英式空軍の指揮階梯シンボル
近代空軍の階層構造
（陸軍の階梯との比較）単位名称
（英語：米空軍/英空軍）人員規模航空機規模下位単位指揮官
XXXXXX +空軍
（Air Force）全空軍全主要コマンドおよびコマンド空軍元帥か空軍大将
XXXXX主要軍団 (Major Command)