平安時代初期には、初代・征夷大将軍となって蝦夷征討で功績を挙げ従三位に昇った大伴弟麻呂や、藤原種継暗殺事件の首謀者・大伴継人の子として若くして流罪となるも、恩赦後に内外の諸官で業績を上げて参議に任ぜられた大伴国道と公卿を輩出している。また、弘仁14年（823年）淳和天皇（大伴親王）が即位するとその諱を避けて一族は伴（とも）と氏を改めた。

承和9年（842年）に発生した承和の変では伴健岑が首謀者として流罪となり、藤原氏による他氏排斥で伴氏も打撃を受けたとされるが、実際に五位以上の氏人で連座した者はいなかった。

その後、国道の子・伴善男が仁明天皇の知遇を受けて頭角を現し、清和朝の貞観6年（864年）には旅人以来130年振りに大納言に昇る。しかし、貞観8年（866年）に発生した応天門の変では善男・中庸父子が首謀者とされてその親族が多数流罪となる。
平安時代中期以降

天慶2年（939年）に伴保平が6ヶ国の国司を勤め上げて72歳にして参議に任ぜられ、伴氏として75年振りに公卿となる。保平は高齢を保ち天暦4年（950年）従三位にまで昇り、翌年には朝臣姓に改姓した[13]。保平の次に三位以上に叙され公卿となったのは江戸時代後期の尾崎積興であり、約900年の期間伴氏から公卿は輩出されなかった。平安時代前期までは紀氏と並んで武人の故実を伝える家とされたが、そのような扱いを受けることもなくなり、多くは地下官人などになっていった。戦国時代頃までは佐伯氏・和気氏・百済王氏とともに、天皇即位の際などに氏爵を受ける氏族とされていた[14]。主な地下家には、保平の後裔で主殿寮の官人を務めた小野家[15]、善男の後裔を称し桂宮家の諸大夫を務めた尾崎家がある[16]。小野家は江戸時代の極官は従四位上[17]、尾崎家の極官は正四位下・縫殿頭。尾崎家のうち江戸時代後期の尾崎積興は81歳の長命を保ち、従三位に叙せられた[16]。
伴氏の後裔を称する氏族

鶴岡社職家・・・伴忠国が鶴岡八幡宮初代神主となって以降、その社職を継承。伴中庸の後裔を称したが[18]、伴保平の弟である保在の後裔とする系図もある[19]。

肝付氏・・・大隅国の豪族。戦国時代には肝付兼続が戦国大名として島津氏と争うが、子孫は島津氏に臣従し薩摩藩士となった。伴姓を称するが、弘文天皇の子・内大臣余那足が伴姓を賜り、その八世孫の兼行が肝付氏を称したとされる[20]。伴中庸に繋げる系図がある[21]。

三河伴氏・・・三河国の豪族。平安時代後期に伴助兼が後三年の役で活躍した。伴善男[22]・大伴駿河麻呂[23]・大伴家持[24]らに繋げる系図がある。

甲賀伴党・・・近江国の豪族。のち滝川氏を称し、戦国時代に滝川一益を出している。ただし滝川氏は本姓として紀氏を称している。三河伴氏の一族[25]。

伊豆伴氏・・・平安時代後期に伊豆掾を歴任[26]。伊豆権守（掾か？）・伴為房の娘は北条時政の母とされる[27]。伴善男が伊豆国への配流後に儲けたとされる伴善魚に繋げる系図がある[26]。

市部氏・・・甲斐伴氏とも呼ばれ、甲斐国にその一族である宮原哲家の系統。支族に金丸氏がある。

系図

『続群書類従』掲載の「大伴氏系図」[28]が知られているが、長徳の子を古麻呂とするなど誤りが多い。また家持の子を古麻呂とする「伴氏系図」[22]も不正確である。1979年（昭和54年）、従来の大伴氏系図とは別系統の「古屋家家譜」[29]が公開された。田中卓は従来の大伴氏系図が「むしろこの家譜によって訂正、或いは補充される箇所が少なくない」[30]とし、溝口睦子も「古態を留めたきわめて資料的価値の高いものである」[31]と評価している。

高皇産霊尊

    

安牟須比命

    

香都知命

    

天雷命

    

天石門別安国玉主命

    

天忍日命

    

道臣命
（神武東征供奉）

    

味日命

    

稚日臣命

    

大日命

    

角日命

    

豊日命

       
    
大伴武日命乎多?命
（大伴行方連、大伴白河連祖）

          
        
武以連
（健持）蚊手連
（五百木部、大伴亘理連）阿古連
（丸子部、道嶋宿禰、大伴山田連、大伴安積連祖）

       
    
佐彦連長目連
（大田部、白髪部、大伴安積連祖）

    

山前連

    

室屋連

       
    
談連若子連