1872年（明治5年）3月10日、その前年に設置された文部省博物局による最初の「博覧会」として湯島聖堂博覧会が、東京・湯島の湯島聖堂大成殿で20日間開催された[5]。当時の広告や入場券には「文部省博物館」と明記されており、これが日本の「博物館」の始まりであった[要出典]。東京国立博物館はこの年を創設の年としている[5]。展示品は、翌1873年（明治6年）開催のウィーン万国博覧会への出品予定品が中心であった。当時の錦絵[6]に見られるように、会場にはガラスケースが所狭しと置かれ、書画、骨董、動植物の剥製や標本などが並べられており、展示品のなかでは名古屋城の金鯱（しゃちほこ）が人気を集めた。この博覧会は3月10日から20日間の会期を予定していたが、あまりの人気に入場制限をせざるをえないほどで、会期を再度延長し、4月末日まで開催された。総入場者数は15万人と推定されている[7][8][9]。

1873年（明治6年）、「文部省博物館」は太政官正院の「博覧会事務局」（1872年設置）に併合され、場所も湯島から内山下町（現在の東京都千代田区内幸町）に移転した。この年は4月15日から3か月半にわたって博覧会が開かれ、博覧会終了後は毎月1と6の日に公開された。以後、上野に新しい博物館が建設される1881年までの展示はこの内山下町で行われた。なお、この当時の博物館は動物、植物、鉱物などの標本も収集展示の対象であった[10]。

博物館の設置後まもない1872年8月、文部省により湯島聖堂の大講堂に書籍館（しょじゃくかん）が設けられた。これは、紅葉山文庫本、昌平坂学問所本など、旧幕府からの引き継ぎ書籍を収蔵するもので、日本における公立図書館の端緒である。書籍館は1874年に浅草蔵前に移転して「浅草文庫」と称した。この浅草文庫の蔵書約14万冊は、一部は内務省に移管されたが、大部分は1882年、上野に移転開館した博物館に引き継がれて、東京国立博物館の蔵書の基礎となった[11]。

博物館設置の端緒となったウィーン万国博覧会は1873年5月1日から11月2日までの会期で開催。日本館には陶磁器、七宝、漆器、染織品などの伝統工芸品が展示され、日本庭園も造られた。日本館は当時の欧州における日本ブームもあり、好評であったと伝えられる。翌々年の1875年、博覧会事務局副総裁の佐野常民は大部のウィーン万国博覧会報告書を提出し、その中で大東京博物館設置の必要性を力説した[10][12]。

1875年（明治8年）、「博覧会事務局」はふたたび「博物館」と改称され、内務省の管轄となった。「博物館」は一時「内務省第六局」と改称されたが、翌1876年（明治9年）、再度「博物館」に改称。同年、町田久成が博物館長に任命された。薩摩藩出身の官僚であった町田は、明治時代初期に博物館設置や文化財保護に尽力した人物である。東京国立博物館では彼を初代館長としており、博物館の裏庭には町田の顕彰碑が建立されている。なお、博物館の所管官庁は、1881年（明治14年）に農商務省、さらに1886年（明治19年）に宮内省へと変わった[13][14]。1881年竣工の上野本館（東京名所 上野公園内国勧業第二博覧会美術館図、三代歌川広重筆）

1877年（明治10年）、上野の寛永寺本坊跡地（後に東京国立博物館の敷地となる）で第1回内国勧業博覧会が開催された。これは当時の「富国強兵・殖産興業」の国策に沿って開催されたもので、この博覧会の展示館の1つである「美術館」は、日本で最初に「美術館」と称した建物として知られる。この「美術館」は、博覧会終了後も使用することを前提として煉瓦造で建設された。初代館長の町田久成は、内山下町の博物館は手狭であり、火災等の危険も大きいとして、博物館の上野公園への移転を陳情していたが、この1877年、太政官より上野移転の裁可を得た[13][15][16]。

1881年（明治14年）、上野公園の寛永寺本坊跡に煉瓦造2階建の本館が完成。イギリス人建築家ジョサイア・コンドルの設計であった。この本館は、同年上野で開催された第2回内国勧業博覧会の展示館として使用された後、翌1882年（明治15年）3月から博物館の本館として使用されるようになった。4年前の第1回内国勧業博覧会の際に建てられた「美術館」の建物も新博物館の「2号館」として活用されたが、関東大震災で本館・2号館共に損壊し、現存しない。上野での開館式は1882年3月20日、明治天皇の行幸を得て行われた。博物館とともに設置準備が進められていた附属動物園（恩賜上野動物園の前身）もこの時に開園。やや遅れて同年9月20日からは前述の旧浅草文庫の書籍の公開が開始されている。このように、初期の博物館は、美術館、自然史博物館、動物園、図書館を含む総合文化施設であった[17]。
帝国博物館から帝室博物館へコンドル設計の旧東京帝室博物館

1889年（明治22年）、「帝国博物館」と改称、九鬼隆一が総長となった。この時、京都と奈良にも帝国博物館を置くこととなり、機関としての帝国京都博物館および帝国奈良博物館の設置はこの年である（実際の開館は京都が1897年、奈良が1895年）。当時の帝国博物館美術部長は明治時代の美術界の理論的指導者であった岡倉覚三（天心）であり、アメリカから来た哲学者・美術史家のアーネスト・フェノロサも美術部理事を務めていた。従来、博物館が担当してきた博覧会関係の業務は農商務省に移管され、この頃から歴史・美術工芸系の博物館としての性格が強まる。なお、動物園が博物館から分離したのは1924年（大正13年）である。この年、動物園を含む上野公園が宮内省から東京市に下賜された。同じ1924年、博物館の天産部も廃止され、同部に属していた動植物の標本などの列品は、同年から翌年にかけて、文部省管轄の東京博物館（国立科学博物館の前身）へ移された[18][19]。

1900年（明治33年）、当時東京・京都・奈良にあった各「帝国博物館」を「帝室博物館」と改称。「帝室博物館」の名称は1947年（昭和22年）まで使用された。この1900年には当時の皇太子（後の大正天皇）の成婚を祝福するため、上野の帝国博物館内に新たな美術館を建造することとなった。宮廷建築家片山東熊の設計になる新美術館は、翌1901年着工。基礎補強に時間を要したこと、たびたび設計変更があったこと、日露戦争の影響などにより工事は長引き、7年後の1908年に竣工、翌1909年開館した。石造および煉瓦造2階建て、ネオ・バロック様式のこの新美術館は表慶館と名付けられ、21世紀に至るまで博物館の展示の一翼を担っている[20][21]。

1923年（大正12年）の関東大地震では、コンドル設計の本館のほか、当時存在した2号館、3号館が大破して使用不能となり、本館復興までの十数年間、陳列は表慶館のみで行われた。復興本館の建設が決まったのは1928年（昭和3年）のことで、昭和天皇の大礼を期に大礼記念帝室博物館復興翼賛会（会長徳川家達）が設立された。建設は設計競技方式で行うこととされ、「日本趣味を基調とした東洋式」の建物とするという条件付きであった。1931年4月に設計案の公募が締切られ、273点の応募作のなかから渡辺仁の案が採用された。渡辺案をもとに宮内省臨時帝室博物館営繕課で実施設計を行い、1932年12月に着工、1937年11月に竣工、1938年11月に開館した。これが現存する鉄骨鉄筋コンクリート造2階建ての東京国立博物館本館（重要文化財）である。当時としては、耐火、防盗への対策を最高レベルで講じたもので、閉館時には窓の鎧戸を下ろし、電気を切断。監視人が別館から張番を行う「金庫式の堅城」と呼ばれるものであった[22]。

復興本館開館からまもない1940年には、「皇紀2600年」を記念して「正倉院御物特別展観」が開催された。これは正倉院宝物（当時は「正倉院御物」）が一般に公開された初の機会であり[23][24]、11月6日から11月24日の間に41万4300余人が入場。