陸軍では主に旅団長・団長、軍参謀長、陸軍省各局長・参謀本部各部長等を務めた。兵科の少将以上には兵科区分がなく、陸上自衛隊でも陸将補以上は職種に分類されない。　第二次世界大戦末期になると、若手将官登用のため、師団長にも充てられた。海軍少将の辞令書（御璽が押印されている）

海軍では主に戦隊司令官、艦隊参謀長、海軍省各局長・軍令部各部長等を務めた。当初は直接戦闘を指揮する提督のみ海軍少将とされていたが、1906年（明治39年）に機関科の海軍機関総監を海軍機関中将・海軍機関少将と改称、1924年（大正13年）に海軍少将（兵科将校）と海軍機関少将（機関科将校）を海軍少将に統合している（兵機の統合は少将以上のみ）。

陸海軍の少将並びに同相当官は高等官二等相当とされ、勲四等乃至二等に叙せられ、武功著しい場合は功三級乃至一級の功級に叙せられ金鵄勲章を授与された[46]。明治初期のアメリカ陸軍によると、本階級を准将相当とし、日本軍の将官を大将、少将、准将の三階級制と見做していた[47]。 これは、当時、フランス式の軍制を採っていた事に起因し、外套の袖、軍刀の護拳および刀緒の星章が大将が5つ、中将が3つ、そして少将が2つであったため、中将が師団将軍に、少将が旅団将軍に対応していたためである[48] · [49]。