2001年（平成13年）の中央省庁再編により、総務庁、郵政省、自治省が統合され発足。 行政組織、公務員制度、地方行財政、選挙、消防防災、情報通信、郵政事業、統計など、国家の基本的仕組みに関わる諸制度、国民の経済・社会活動を支える基本的システムを所管し、国民生活の基盤に広く関わる行政機能を担う。
総務省の職務は、内政面で直接国民生活に広い範囲にわたって関わるものであると同時に、行政機能全体の管理という側面を持つため、中曽根康弘、後藤田正晴など旧内務官僚の政治家が長年願ってきた内務省復活が実現したとみる向きもある。しかし、旧内務省がその権力の源泉とした警察行政を所管していないこと、情報通信行政を所管していること等、旧内務省とは多くの点で異なっている。
英訳表記は、当初「Ministry of Public Management, Home Affairs, Posts and Telecommunications」であったが、2004年（平成16年）9月から「Ministry of Internal Affairs and Communications」に変更された。理由は、「長すぎて分かりにくい」との意見があったことや、一つの組織としての一体性を醸成していく必要があったためとされる。また、2005年（平成17年）4月1日から、省の理念のアピール及び職員の一体感を醸成していくことを目的として、シンボルマークを制定するとともに、「実はここにも、総務省」というキャッチフレーズを策定した。
業務
国家行政組織の制度及び国の行政機関に関する行政評価
国家公務員制度及び恩給
都道府県・市町村などの地方自治制度
地方税、地方交付税などの地方財政制度
市町村合併、地方公務員の定員・給与の適正化などの地方行革
電子政府、電子自治体の推進
統計制度の企画立案、各種統計（国勢調査など）の実施
国政選挙、地方選挙等の選挙制度
政治資金制度、政党助成制度
消防行政
郵便・信書便関係の監督及び郵政事業の民営化の実施
情報通信政策全般に関わる国際的な戦略立案
電波・周波数割当、放送事業及びインターネットサービスプロバイダー等の電気通信事業の監督等
情報コンテンツの流通及び利用等に関する企画立案及び振興
幹部
総務大臣
総務副大臣（2名）
総務大臣政務官（3名）
総務事務次官
総務審議官（3名）
大臣官房
官房長
総括審議官（3名）
政策評価審議官
地域力創造審議官
審議官（14名）
参事官（14名）
秘書課
総務課
会計課
企画課
政策評価広報課
人事・恩給局旧総務庁の人事局及び恩給局が平成13年1月6日の中央省庁等再編に伴い統合され発足。国家公務員に関する制度の企画及び立案、恩給等を所掌。
次長（2名）
総務課
人事政策課
公務員高齢対策課
恩給企画課
恩給審査課
恩給業務課
参事官（5名）
行政管理局行政組織・定員の管理、独立行政法人・特殊法人の新設・改廃の審査、個人情報保護・情報公開の推進などの業務を行う。
企画調整課
行政情報システム企画課
管理官（8名）
行政評価局政策評価、行政評価・監視、独立行政法人評価、行政相談などを担当。各都道府県に出先機関（管区行政評価局、行政評価事務所など）を持つ。
総務課
行政相談課
政策評価官
評価監視官（9名）
自治行政局地方自治制度、地方公務員制度、選挙制度を所掌。
行政課
市町村課
合併推進課
地域政策課
地域自立応援課
公務員部
公務員課
福利課
選挙部
選挙課
管理課
政治資金課
自治財政局地方交付税制度・地方債制度など、地方自治体の財源の保障・調整を担当する。