法令上の「国務大臣」は、広義には内閣を構成する内閣総理大臣及びその他の大臣すべてを含み、狭義には内閣総理大臣以外の大臣のみを指す。
広義の意味で「国務大臣」の語が用いられている例としては、日本国憲法第63条（国務大臣の議員出席の権利義務）や日本国憲法第66条第1項及び同条第2項（内閣の組織）などがある。これらの条文では「内閣総理大臣その他の国務大臣」と表現されており、「国務大臣」の概念が内閣総理大臣たる国務大臣とその他の国務大臣の双方を含む意味で用いられている。
狭義の意味で「国務大臣」の語が用いられている例としては、日本国憲法第68条第1項や同条第2項（国務大臣の任命と罷免）などがある。例えば日本国憲法第68条第1項前段は「内閣総理大臣は、国務大臣を任命する」と規定しているが、内閣総理大臣はそもそも国会の指名に基づいて天皇により任命されるので（日本国憲法第6条第1項）、日本国憲法第68条第1項前段の「国務大臣」には内閣総理大臣は含まれないことになる。
なお、「内閣法」（昭和22年法律第5号）第3条第2項は「前項の規定は、行政事務を分担管理しない大臣の存することを妨げるものではない」として無任所大臣を置くことを認めているが、主任の大臣ではない国務大臣（無任所大臣）には法律上の正式な呼称がない（詳細については無任所大臣の項目の「新憲法下における「無任所国務大臣」」の節を参照のこと）。そのため、内閣の構成員の一覧表などでは主任の大臣以外の大臣について単に「国務大臣」となっている場合がある。
行政学などでは講学上、国務大臣と行政大臣に分けて論じられる場合がある。行政大臣は主任の大臣とも呼ばれ、各省の長として、特定の行政分野を担当している国務大臣を指す。特定の行政分野を担当しない内閣官房長官、内閣府特命担当大臣、無任所国務大臣（班列）などに対する概念である。
内閣法は、すべての国務大臣は「案件に如何にかかわらず、議案を閣議に提出することができる」趣旨の規定があるが、実際の運用としては、主任の大臣以外の国務大臣が閣議を求める事はない。例えば内閣府特命担当大臣の場合、内閣府の主任の大臣である内閣総理大臣に議案を上申したうえで、内閣総理大臣が閣議を請議することになる。
内閣総理大臣と国務大臣は憲法上文民でなければならず、その過半数を国会議員にて構成しなければならない。
日本国憲法第68条において
内閣総理大臣が、任命する。その過半数は国会議員の中から選ばれる。
内閣総理大臣が、任意に罷免する。
と規定されている。
国務大臣の身分は国家公務員法第2条第3項において、特別職の国家公務員とされる。
一般的に国務大臣という場合には内閣総理大臣を含めていう時とそうでない時がある。内閣総理大臣は国会の議決により指名され、天皇から任命される（親任式）。
内閣総理大臣以外の国務大臣は内閣総理大臣により任命され、天皇から認証される（認証官任命式）。なお、宮中の親任式及び認証官任命式で授与される「官記」は単に内閣総理大臣又は国務大臣としての任命・認証であり、どの行政事務を担当するかの辞令（例：「総務大臣を命ずる」）は式後に官邸で内閣総理大臣から発令される（これを「補職」・「補職辞令」という）。
外交上の敬称としては交渉国との間で主に大臣閣下という敬称と本官に相当する本大臣という自称で呼び合うこととなっている。また、軍部を所管する大臣はその就退任に栄誉礼を受ける。
なお、国会議員でペンネーム（タレント時代などの芸名や、判り易く一部をひらがなにする）等にしてある場合、国務大臣に任命される際には戸籍に登録されている本名で任命を受け、連署・署名など国務大臣として行う場合は本名でなくてはならない。
国務大臣はその在任中、内閣総理大臣の同意なくして訴追（※）されない(憲法第75条)。法律及び政令には国務大臣の署名を必要とするなど様々な制約や特権がある。
現在、内閣はじめ省庁における大臣以下の政治ポストはかつての政務次官が副大臣や大臣政務官などに再編され、省内における政治任用職も増えたことで、政治主導の流れを強くしつつある状況にある。総理以外の大臣秘書官は定数1名で官庁の外から政治的任用される（通例はその大臣の議員第一秘書などが務めることが多い）。
当該省庁の職員も大臣秘書官と呼ばれるポストに就いて大臣を補佐するが、これは厳密には大臣秘書官事務取扱といい、正規の法定秘書官ではない。大臣以下副大臣・政務官の品位と倫理を維持するため、大臣規範などを定め、汚職の防止や兼職の禁止など自律的な制約を定めている。
国務大臣は両議院での議席の有無に関わらず、議案について発言するために議院に出席をすることが出来る。答弁または説明のために出席を求められた際は出席しなければならない。※ 首相の同意なしで逮捕された例はある。1948年に栗栖赳夫国務大臣（経済安定本部総務長官兼物価庁長官兼中央経済調査庁長官）が逮捕された時、東京地裁は「訴追は、逮捕・勾留とは関係ない」との判断を下し、逮捕令状を交付した。
内閣法では内閣総理大臣を除く国務大臣の数は原則14人とされ、必要であればさらに3人まで任命できることとなっている。
内閣総理大臣 - 国会から指名される内閣の首長。内閣府の長。
総務大臣 - 総務省の長。
法務大臣 - 法務省の長。
外務大臣 - 外務省の長。
財務大臣 - 財務省の長。
文部科学大臣 - 文部科学省の長。
厚生労働大臣 - 厚生労働省の長。
農林水産大臣 - 農林水産省の長。