平安時代初期の議政官をみると、藤原氏のほか、源氏、橘氏、清原氏、菅原氏などのように、奈良時代にはみられなかった氏族が急速に台頭していた。880年ごろには議政官氏族の多様性が失われ、藤原氏・源氏が議政官のほとんどを占めるようになった。藤原氏は、摂政・関白の地位を獲得し、それを世襲することに成功した。以降、10世紀から11世紀にかけて、藤原氏嫡流（摂関家）は、天皇の外戚、すなわち、身内として代々摂関となって貴族社会の頂点に位置し、10世紀から11世紀にかけて摂関政治と呼ばれる政治形態を布いた。ただし、通俗的な理解とは異なり、摂関家は専横的に権力を振るったわけではない。摂関といえど独裁的な国政決定を行なうことはできず、重要な国政決定はすべて陣定などの公卿会議を通じて行なわれていたのである。

9世紀後半から10世紀にかけての時期に上流貴族が藤原氏・源氏にほぼ限定されると、他氏族は中下流貴族として存続する道を模索し始めた。10世紀初頭、王朝国家体制への移行に伴い、律令機構や権能を特定者へ請け負わせる官司請負が行なわれ始めたが、機構・権能の請負いに成功した中下流貴族は、その機構・権能を家業と位置づけ、それを世襲する家業の継承を行なうようになった。例えば、武芸・軍事を家業とする下級貴族（地下人）は「兵（つわもの）の家」と呼ばれ、押領・追捕・追討活動に従事する軍事貴族（武家貴族）となり、武家（武士）の母体となっている。この官司請負と家業の継承は、11世紀以降、貴族社会に広くみられるようになり、そのため下級貴族は家業の継承や受領職の獲得などにより生き残りを図ったのである。家業の継承を通じて、家産（家の財産）の蓄積が進み、貴族社会に「家」概念が登場することになった。

摂関政治、官司請負、家業の継承が始まった10世紀前半は、その後の貴族社会において最重要事項とされた朝廷儀式・宗教儀式の標準作法が形成された時期でもある。非常に多数の年中行事からなる儀式は細部まで作法・様式が決められており、儀式を滞りなく執り行うため、『西宮記』、『北山抄』などの儀式書も作られた。
中世

貴族社会に登場した「家」概念は11世紀後半に天皇にまで及び、天皇家の家督者が上皇として政務に当たる院政の開始をもたらした。上流貴族の間にも「家」概念が浸透していき、荘園所領が家産として集積されるとともに父系継承された。それまで、貴族社会では財産の母系継承が通例だったが、12世紀ごろから父系継承が慣例化していく。

11世紀ごろまで、貴族の主たる経済基盤は、奈良時代と同様、国家から支給される位田・位封などであり、荘園からの収入は多くなかった。11世紀後半から12世紀にかけて荘園が急速に増加するとともに、それに対応して国衙領が再編成され、荘園公領制という中世的収取体制が成立、また、並行して知行国制が成立すると、貴族の経済基盤は荘園および知行国へとシフトしていった。平清盛（1118年?1181年）

院政の開始により貴族社会における家の登場に至ったが、家内部の主導権争いも徐々に現出し始めていった。この家内部の争いが最も先鋭化したのが12世紀中葉の保元の乱である。貴族社会の政争が武力解決されたことは乱で活躍した平清盛一族の急速な台頭をもたらした。平清盛は中流貴族の軍事貴族に過ぎなかったが、続く平治の乱を経て、上流貴族の仲間入りを果たした。しかし、平清盛一族は治承・寿永の乱で滅亡し、軍事貴族に出自する源頼朝政権が勝利したが、源頼朝は上流貴族とはならず、東国政権（鎌倉幕府）の支配者（鎌倉殿）となることを選択した。

武力をもって朝廷に仕える鎌倉幕府が武家と呼ばれるようになると、従来の貴族は、政務一般で朝廷に奉仕する文官、すなわち公家と呼ばれるようになった。東国を支配する幕府を武家政権とするのに対し、中央の朝廷を公家政権ともいう。12世紀から13世紀にかけて公家社会の中で家格の固定化が進み、家格によって昇進できる官職が定まっていた。

鎌倉幕府の勢力圏は当初東国に限られ、朝廷の勢力圏である西国まで及んでいなかったが、承久3年（1221年）の承久の乱の勝利によって幕府が優勢となり、朝廷の監視や皇位継承者の決定への参与、西国への進出により支配権を広めていく。朝廷（公家政権）はその後も存続しており、時には幕府（武家政権）と共同で政治問題の解決にあたったが、徐々に政治・統治能力を失っていくこととなった。

鎌倉時代の貴族の主要な収入源は平安末期と同様、知行国であった。しかし、この時代は武士である地頭がその武力を背景として貴族の荘園所領を侵食していった。室町時代に入ると、半済令の導入や守護に強力な権限が与えられたため、地頭に代わって守護による荘園侵食が著しくなった。こうして貴族による荘園・公領支配は次第に失われていき、室町中期の15世紀後半までに荘園公領制はほとんど崩壊してしまった。貴族は中央（京）に在住し、地方の荘園・公領からの収入が京進されるのを待つのが室町初期までの通例だったが、それ以降は代官を直接荘園に派遣したり（請負代官制）、さらに、自ら直接荘園に下向して支配に当たったりする例すらあった（直務）。

また、京都に基盤を置く室町幕府の開始とともに、公家政権の機能も幕府へと移っていく、足利義満執政期に公家政権は政権としての機能をほぼ失った。政治権力も経済基盤も失った貴族階層は消滅するには至らなかったものの、室町中期から戦国時代にかけて特に困窮を極めた。
近世・近代

近世においては、江戸幕府の成立以降、戦国時代にほぼ無秩序化した身分階級の再構築が図られた。貴族階層に対しては幕府から禁中並公家諸法度が制定され、公家社会は幕府の統制を受けるようになった。公家社会では、鎌倉時代以来、家格が定まっていったが、江戸時代になると鎌倉時代以来の公卿を旧家、安土桃山時代以降に成立した公卿を新家とし、公家家格の再編成が行なわれた。最高の摂関近衛家でも3000石弱の石高で、中下流貴族は数十石程度の石高しか与えられず、貧困生活を送った家も少なくなかった。一方、長らく流動的であった武士階級においても、社会の安定化に伴って、武士各家の家格が固定されていき、上流武士階級を世襲していった将軍家や大名層はいわゆる武家貴族を形成するに至った。

明治2年（1869年）、明治政府は新たな貴族階級として華族制度を創始した。華族は、元皇族、公家、大名、明治維新時の勲功者から構成されていた。