1928年、国民革命軍が北伐を完成し、張学良が南京政府支持を表明した後の10月3日に「中華民国国民政府組織法」が立法化され、10月8日に初代行政院長として譚延?が指名された。当時の行政院は内政、外交、軍政、財政、農鉱、工商、教育、交通、鉄道、衛生の10部を有していた。1947年、中華民国憲法が公布されると、行政院は中華民国における最高行政機関と定義され、1947年3月31日には「行政院組織法」が公布され組織整備が進められた。組織法は現在まで6回の修正が行われ、8部2会の組織となっている。
1949年に遷台した際、閻錫山院長のもとに開催された行政院は、総統府と行政院を共に「介寿館」（現在の総統府）に置く事を決定した。1957年に現所在地へ移転した。
行政院の人員構成は院長・副院長各1名と数名の政務委員から構成される。
長官となる院長は中国民主社会党の張君?が1947年に起草した憲法では内閣制に近い概念が採用され、院長は総統の指名後、中華民国立法院の同意を持って任命され、総統令も行政院長の署名が条件とされ、内閣総理に近似していた。しかし国共内戦により非常体制を緊急に構築する必要から憲法臨時条款にて総統大権が認められ、国民党政府が遷台した後も蒋介石が長期に亘り総統の地位を占めており、憲法が定める「内閣制」は、僅かに蒋経国が院長を務めた一時期を除いて形骸化した。台湾における総統直接選挙が実施される以前の憲法改正で、総統令に対する院長の副署権は消失し、また立法院による同意も廃止されており、現在では総統制の輔弼要素としての地位となっている。
院長の下部には副院長1名と、5?7名の政務委員が設けられ、8部2会の長と共に「行政院会議」を開催し、これが中華民国の内閣となっている。この行政院会議にはこれらのメンバー以外にもその他関係機関の長、台北市長、高雄市長なども参加しているが、それらのメンバーには議決権は無い。
続いて組織の構成であるが、行政院下部には「行政院組織法」第3条及び第5条の規定にしたがい、8部（内政、外交、国防、財政、教育、法務、経済、交通）、2会（蒙蔵、僑務）、1処（主計処）、1局（新聞局）が設置されている。この他第6条またはその他関連法案の規定により3署（衛生、環境保護、海岸巡防）、21委員会、人事行政局、中央銀行と故宮博物院が直属機関として設置されている。なお8部2会の長はそれぞれ政務委員が受け持つ。
部
内政部
外交部
国防部
財政部
教育部
法務部
経済部
交通部
会
蒙蔵委員会
僑務委員会
処
行政院主計処
局
行政院新聞局
行政院人事行政局
署
行政院衛生署
行政院環境保護署
行政院海岸巡防署
委員会
行政院大陸委員会
行政院経済建設委員会
行政院国軍退除役官兵輔導委員会
行政院青年輔導委員会
行政院原子能委員会
行政院国家科学委員会
行政院研究発展考核委員会
行政院農業委員会
行政院文化建設委員会
行政院労工委員会
行政院公平交易委員会
行政院公共工程委員会
行政院体育委員会
行政院原住民族委員会
行政院消費者保護委員会
行政院客家委員会
行政院中央選挙委員会
行政院法規委員会
行政院北米事務協調委員会
行政院金融監督管理委員会
行政院飛航安全委員会
独立機関
中央選挙委員会
国家通訊伝播委員会
直属機関
中央銀行
国立故宮博物院
行政院長を参照
行政院の建物は台北市中正区忠孝東路1段1号にある。もともとは日本統治時代に台北市役所として建てられた物で、1940年に竣工した。施工は台湾の漢人系企業である協志協会。当時の日本は日中戦争など度重なる戦役や、国際関係の悪化によって物資が欠乏し始めていた。このため華美な装飾を省いた質素な建物が造られ、結果としてモダニズムを強調する建物となった。
太平洋戦争終結後は台湾と共に中華民国へ所属が移り、台湾省政府庁舎として使われた。その後1957年に省政府が南投県南投市中興新村へ移転してからは、行政院として使われている。
現在、行政院の建物は日本統治時代末期のモダニズム建築を代表する建築物の一つとして評価されており、台湾政府によって国家古蹟にも指定されている。
