なお、不比等の出生について『興福寺縁起』には「公避くる所の事有り」とあり、これは不比等が天智天皇の御落胤であることを意味するとされる。『大鏡』、『公卿補任』、『尊卑分脈』にはその旨が明記される。
奈良時代

不比等の死後、外孫である首皇子（聖武天皇）が皇位に就くと、不比等の男子である武智麻呂・房前・宇合・麻呂の藤原四兄弟と天武天皇の孫である長屋王ら皇族を中心とする一派の対立が深まっていった。729年（天平元年）、長屋王の変が起こり長屋王は自害する。これは、藤原四兄弟が自分達の異母妹で天皇の妃である藤原光明子を史上初の皇族以外出自の皇后に立てるため、反対する長屋王を讒言により陥れた陰謀事件であったとされる。なお、光明子の立后によって藤原氏の地位が向上することは、藤原氏を母方の実家とする聖武天皇にとっても好都合であることから、天皇の意向を受けた政変であったとも解される。
藤原四家略系図

  武智麻呂　→　［藤原南家］
  
［藤原氏］ 藤原鎌足 不比等  房前　→　［藤原北家］
   
  宇合　→　［藤原式家］
 
  麻呂　→　［藤原京家］
 

藤原四兄弟は、それぞれ武智麻呂の南家、房前の北家、宇合の式家、麻呂の京家の4家に分かれ、藤原四家の祖となった。731年（天平3年）、役人達の投票によって四兄弟全員が議政官に昇った。これは藤原氏が単に後宮政策のみならず、不比等以来律令編纂に関わってきた実績をもって官僚組織を掌握していったことの証でもあった。この中で、京家は最も振るわず早々に政治の舞台から姿を消すこととなる。

737年（天平9年）、天然痘の大流行で藤原四兄弟が相次いで病死する。それを受けて橘諸兄、玄�ﾑ、吉備真備らが藤原氏の突出を抑えようと努めたが、光明皇后の信任を得た南家・藤原仲麻呂（武智麻呂の子）の台頭により抑えられた。仲麻呂は757年（天平宝字元年）には諸兄の子・橘奈良麻呂も排除した（橘奈良麻呂の乱）。仲麻呂は独裁的な権力を振るい、仲麻呂の一家には特に「恵美」を姓に加えられ、「藤原恵美朝臣」を称した。しかし光明皇太后の死後孝謙上皇の寵愛を得た道鏡が台頭し、764年（天平宝字8年）の藤原仲麻呂の乱で敗死した。

藤原仲麻呂の失脚で藤原氏は沈みがちであったが、式家の藤原良継・百川や北家・藤原永手の尽力で再興する。以降は南・北・式の3家が競い合うが、やがて政争や一族の反乱で南家・式家は平安時代前期には衰退し、北家が最も栄えることとなった。
平安時代以降の歴史は藤原北家も参照。

平安時代中期以後は、藤原北家のみが栄えた。藤原良房は清和天皇の外戚となり、人臣で初めての摂政となった。そして、良房の養子・基経もまた、陽成天皇の外戚として摂政と関白を務めた。皇室と姻戚関係を結んで他氏の排斥と権力増強を行う路線は代々引き継がれ、842年（承和9年）承和の変から969年（安和2年）安和の変に至る一連の事件で藤原北家の他氏排斥が完了する。藤原道長・頼通父子の代になると摂関政治の最盛期を極めた。

だが平安後期になると、藤原氏と姻戚関係を持たない上皇による院政が始まり、さらに源平両氏の武家政権と移行するにつれ藤原氏の権勢は後退した。