平安時代中頃（10世紀）に入って、後述の賀茂家と安倍家の2家による独占世襲が見られるようになると、陰陽頭以下、陰陽寮の上位職はこの両家の出身者がほぼ独占するようになった。また、両家の行う陰陽諸道は本来の官制職掌を越えて宗教化し、これが摂政や関白を始めとする朝廷中枢に重用されたため、両家はその実態がもっぱら陰陽諸道を執り行う者であるにもかかわらず、律令においては従五位下が最高位であると定める陰陽寮職掌を越えて、他のより上位の官職に任命され従四位下格にまで昇進するようになった。特に安倍家は平安時代後期（11世紀）には従四位上格にまで取り立てられるようになり、室町時代には、将軍足利義満の庇護を足がかりに常に公卿（三位以上）に任ぜられる堂上家（半家）の家格にまでなり土御門家を名乗るようになったほか、その土御門家は、室町時代後期から戦国時代には一時衰退したものの、近世において江戸幕府から全国の陰陽師の差配権を与えられるなど、明治時代初頭まで隆盛を誇った。
平安時代における陰陽道の宗教化と陰陽師の神格化

延暦4年（785年）の藤原種継暗殺事件以降に身辺の被災や弔事が頻発したために怨霊におびえ続けた桓武天皇による長岡京から平安京への遷都に端を発して、にわかに朝廷を中心に怨霊を鎮める御霊信仰が広まり、悪霊退散のために呪術によるより強力な恩恵を求める風潮が強くなり、これを背景に、古神道に加え、有神論的な星辰信仰や霊符呪術のような道教色の強い呪術が注目されていった。讖緯説（讖緯思想）・道教・仏教特に密教的な要素を併せ持った呪禁道を管掌し医術としての祈祷などを行う機関として設けられていた典薬寮の呪禁博士や呪禁師らが、陰陽家であった中臣（藤原）鎌足の代に廃止され陰陽寮に機構統合されるなどして、陰陽道は道教または仏教（特に奈良・平安時代の交（8世紀末）に伝わった密教）の呪法や、これにともなって伝来した宿曜道とよばれる占星術から古神道に至るまで、さまざまな色彩をも併せもつ性格を見せ始める要素を持っていたが、御霊信仰の時勢を迎えるにあたって更なる多様性を帯びることとなった。北家藤原氏が朝廷における権力を拡大・確立してゆく過程では、公家らによる政争が相当に激化し、相手勢力への失脚を狙った讒言や誹謗中傷に陰陽道が利用される機会も散見されるようになった。

仁明天皇・文徳天皇の時代（9世紀中半）に藤原良房が台頭するとこの傾向は著しくなり、宇多天皇は自ら易学（周易）に精通していたほか、藤原師輔も自ら『九条殿遺誡』や『九条年中行事』を著して多くの陰陽思想にもとづく禁忌・作法を組み入れた手引書を示したほどであった。この環境により、滋岳川人、弓削是雄（ゆげのこれお）らのカリスマ的な陰陽師を輩出したほか、漢文学者三善清行の唱える讖緯説による災異改元が取り入れられて延喜元年（901年）以降恒例化するなど、宮廷陰陽道化が更に進んだ。あわせて、師輔や清行など陰陽寮の外にある人物が天文・陰陽・易学・暦学を習得していたということ自体、律令に定めた陰陽諸道の陰陽寮門外不出の国家機密政策はこの頃にはすでに実質的に破綻していたことを示している。

やがて平安時代中期以降に、摂関政治や荘園制が蔓延して律令体制が更に緩むと、堂々と律令の禁を破って正式な陰陽寮所属の官人ではない「ヤミ陰陽師」が私的に貴族らと結びつき、彼らの吉凶を占ったり災害を祓うための祭祓を密かに執り行い、場合によっては敵対者の呪殺まで請け負うような風習が横行すると、陰陽寮の「正式な陰陽師」においてもこの風潮に流される者が続出し、そのふるまいは本来律令の定める職掌からはるかにかけ離れ、方位や星巡りの吉凶を恣意的に吹き込むことによって天皇・皇族や、公卿・公家諸家の私生活における行動管理にまで入り込み、朝廷中核の精神世界を支配し始めて、次第に官制に基づく正規業務を越えて政権の闇で暗躍するようになっていった。同時期には天文道・陰陽道・暦道すべてに精通した陰陽師である賀茂忠行・保憲父子ならびにその弟子である安倍晴明が輩出し、従来は一般的に出世が従五位下止まりであった陰陽師方技出身者の例を破って従四位下にまで昇進するほど朝廷中枢の信頼を得た。そして賀茂保憲が、その嫡子の光栄に暦道を、弟子の安倍晴明に天文道をあまねく伝授禅譲して、それぞれがこれを家内で世襲秘伝秘術化したため、安倍家の天文道は極めて独特の災異瑞祥を説く性格を帯び、賀茂家の暦道は純粋な暦道というよりはむしろ宿曜道的色彩の強いものに独特の変化をとげていった。このため、賀茂・安倍両家からのみ陰陽師が輩出されることとなり、晴明の孫安倍章親が陰陽頭に就任すると、賀茂家出身者に暦博士を、安倍家出身者に天文博士を常時任命する方針を表し、その後は両家が本来世襲される性格ではない陰陽寮の各職位をほぼ独占し、更にはその実態を陰陽師としながらも陰陽寮職掌を越えて他の更に上位の官職に付くようになるに至って、官制としての陰陽寮は完全に形骸化し、陰陽師は朝廷内においてもっぱら宗教的な呪術・祭祀の色合いが濃いカリスマ的な精神的支配者となり、その威勢を振るうようになっていった。

また、本来律令で禁止されているはずの陰陽寮以外での陰陽師活動を行う者が都以外の地方にも多く見られるようになったのもこの頃であり、地方では道摩法師（蘆屋道満）などをはじめとする民間陰陽師が多数輩出した。

平安時代中・後期（11世紀から12世紀）を通じて、陰陽諸道のうちで最も難解であるとされていた天文道を得意とする安倍家からは達人が多数輩出され、陰陽頭は常に安倍氏が世襲し、陰陽助を賀茂氏が世襲するという形態が定着した。平安時代末期の治承・寿永の乱（源平合戦）のころには安倍晴明の子吉平の玄孫にあたる泰親が正四位上、その子の季弘が正四位下にまで昇階していたが、その後の鎌倉幕府への政権移行にともなう政治的勢力失墜や、鎌倉時代末期の両統迭立に呼応した家内騒動、その後の南北朝時代の混乱によってその勢力は一時衰退した。