一方、乳腐は北方遊牧民族の常食の乳餅のことであるという見方もある。『本草綱目』での乳腐には「釈名：乳餅」とあり、他でも乳餅としている書物が多い[16]。このことから、乳腐は漢人の一部が胡人の乳餅を「乳腐」（畜乳で作った豆腐に似たもの）とも称したのではないかという説もある[7]。いずれにせよ、豆腐の起源については、未解明の部分が今なお存在する[13]。

中国においては、伝統的には豆腐は生で食べるのではなく発酵豆腐などとして食べていたとされる[11]。また、中国の伝統的な豆腐は日本の豆腐よりも堅いが、これは油を用いる調理法が主流のため水分が少ないほうが都合がよかったためとされる[11]。少なくとも唐代後半には造られていた豆腐は、南宋末期のころには一般に普及し、明朝や清朝の時代になると豆腐の加工品も盛んに作られるようになった[11]。安徽省南部で伝統的に生産されてきた毛豆腐は、白い毛カビが付着した発酵豆腐であり、現在も伝統食品として流通している。

今日、中国南部や香港・台湾では、日本の絹ごし豆腐のような滑らかな豆腐を冷やしてシロップをかけ、アズキやフルーツをトッピングして食べるデザートがあり、これを「豆花」と呼んでいる[17]。
日本おから（豆腐を作る際に残る物）ゆし豆腐大阪市淀川区、三国の豆腐屋

日本の豆腐は柔らかくて淡白な食感を特徴とする独特の食品として発達した[11]。

一般に豆腐は中国から日本へ伝えられたとされる。遣唐使によるとする説が最も有力とされるが[18]、その一員でもあった空海によるという説、鎌倉時代の帰化僧によるとするなど諸説ある。ゆばやこんにゃくなどとともに鎌倉時代に伝来したとみる説もある[11]。ただ、1183年（寿永2年）の奈良・春日神社の供物帖の中に「唐府」という記述がある[18][9][12]。

鎌倉時代末期頃には民間へ伝わり、室町時代には日本各地へ広がった。そして江戸時代にはよく食べる通常の食材となったとされる[9][11]。この江戸時代の豆腐は、今日でいう木綿豆腐のみであった[9]。

豆腐は庶民の生活に密着しており、江戸では物価統制の重要品目として奉行所から厳しく管理されていた。「豆腐値段引下令」に応じない豆腐屋は営業停止にされるため、豆腐屋は自由に売値を決めることは出来なかった[19]。また各大名の献立にもしばしばのぼる食材であった[20]。下野国壬生藩の鳥居家の食事記録を調べると、菜は月に1日を除いて全て豆腐料理が出されていた[20]。

一方、江戸において豆腐料理屋は評判で、江戸で初めて絹ごし豆腐を売った「笹の雪」はいまだに続いている老舗である。当時、庶民に親しまれたのは豆腐の田楽であり、豆腐を串に刺して焼き、赤みそを付けて食べる料理であった[21]。

天明2年（1782年）に刊行された『豆腐百珍』には、100種類の豆腐料理が記述されている[20]。また、豆腐は様々な文学でも親しまれてきた。当時より、豆腐は行商もされており、前述の豆腐百珍は大きな人気を得るほど一般的な料理であった。行商の豆腐屋はラッパや鐘を鳴らしながら売り歩いていた。関東地方では、明治時代初期に乗合馬車や鉄道馬車の御者が危険防止のために鳴らしていたものを、ある豆腐屋が「音が“トーフ”と聞こえる」ことに気づき、ラッパを吹きながら売り歩くことを始めたものである。その由来のようにラッパは「豆腐」の高低アクセントに合わせて2つの音高で「トーフー」と聞こえるように吹くことが多いが、地域や販売店によっても異なり、「トー」と「フー」が同じ音高の場合もある。