日本法の「行政機関」概念には、権限分配の単位として用いられる講学上の行政機関（行政官庁法理論上の行政機関）と、行政事務の分配の単位として用いられる国家行政組織法上の行政機関がある[4]。

第二次世界大戦前の日本の行政法の法理論はドイツから移入された行政法学とりわけ美濃部達吉の行政法の体系が負っていたものが大きい[1]。ただし、ドイツから移入された「行政庁」の概念や行政官庁論は、日本の行政法学ではドイツの行政法学とは相当異なる変容もみられると指摘されている[1]。第二次世界大戦後、日本の国家行政組織法はアメリカ型の「行政機関」概念を採用したため、それまでの「行政庁」概念や行政官庁論の有用性については議論がある[1]。
講学上の行政機関概念.mw-parser-output .hatnote{margin:0.5em 0;padding:3px 2em;background-color:transparent;border-bottom:1px solid #a2a9b1;font-size:90%}

「行政庁」はこの項目へ転送されています。バチカンの行政庁については「行政庁 (バチカン)」をご覧ください。

行政は、国や地方公共団体などの公法人が「行政主体」となり、その名（名義）と責任において実施する。この行政主体は法人であるため、実際にその手足となって行為するのは、自然人によって構成されるその機関である。これを講学上（行政官庁法理論上）、「行政機関」という[4]。行政機関や後述の行政庁、行政官庁といった語は、一般的な用法では組織や建物を指すが、ここでは法律により一定の行政上の権限および責務を与えられた自然人またはその合議体を指す。たとえば「財務省」といえば行政機関としては「財務大臣」の職にある自然人であり、都道府県であれば知事職にある自然人が「行政機関」である[4]。

行政機関は、その機能から次の6種に分類される[要出典]。
行政庁 - 伝統的理解によれば、行政主体の法律上の意思を決定し、外部に表示する権限を持つ機関とされる[4][5]。公権力の行使の場面で用いられる。特に国の行政庁（すなわち官庁である行政庁）を行政官庁という。独任制：国における内閣総理大臣、各省大臣、各庁長官、@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}検察官[要出典]など、地方公共団体における都道府県知事、市町村長など、ほとんどの行政庁。合議制：国における内閣、国家公安委員会、公正取引委員会、人事院など、地方公共団体における教育委員会、選挙管理委員会、公安委員会 など。

諮問機関 - 行政庁から諮問を受けて、審議・調査し、意見を答申する機関[4][6]。各種の審議会、調査会（公務員制度調査会）など。諮問機関の意見に法的拘束力は無いが、できるだけ尊重されるべきとされている。

参与機関- 行政庁の意思決定に参与し、法的に拘束する議決を行う行政機関[4][7]。電波監理審議会（電波法94条に基づく総務大臣の決定を拘束する）検察官適格審査会（検察庁法23条に基づく法務大臣の決定を拘束する）労働保険審査会など。

監査機関 - 行政機関の事務や会計の処理を検査し、その適否を監査する機関。会計検査院、監査委員など。

執行機関 - 行政目的を実現するために必要とされる実力行使を行う機関[注釈 1][4]。自衛官、警察官、海上保安官、徴税職員、消防職員など。

補助機関 - 行政庁その他の行政機関の職務を補助する機関[4]。日常的な事務を遂行する。副大臣、事務次官、局長、課長から一般職員の多く。

国家行政組織法上の行政機関概念詳細は「日本の行政機関」を参照

国家行政組織法上の「行政機関」は、府・省・庁・委員会など、事務配分の単位としての官署そのものを指す[8]。例えば、総務省であれば総務省で一つの行政機関であり、法務省なら法務省で一つの行政機関である。