1904年、四川省広安県の裕福な客家系地主の家庭に生まれる。初め?先聖と名づけられ、幼時には?希賢の名も用いる。1920年、16歳でフランスへ留学。第一次世界大戦後の労働力不足に応じた「勤工倹学」という形の苦学生であった。ちなみに?小平はこの後一度も帰郷したことはない。
?が留学した時代、フランスは第一次世界大戦直後の不景気だったため、パリから遠く離れた市立中等校に入学して節約に励むも、半年で生活費を稼ぐため学校を辞めてしまう。鉄鋼工場、レストランのボーイ、清掃など、職を転々と変えながらも、堅実に貯金して、1922年10月に再び田舎町の市立中等学校に入学して3ヶ月間、学び、パリ近郊のルノーの自動車工場で仕上げ工として勤務。
フランス留学中の1922年に中国少年共産党に入党し、機関誌の作成を担当。「ガリ版博士」とあだ名され好評を博す。1925年、中国共産党ヨーロッパ支部の指導者となり、フランス政府に危険分子と見なされ、フランスでの居心地が悪くなり、1926年、モスクワに渡り、東方勤労者共産大学・モスクワ中山大学で共産主義を学ぶ。ちなみに?小平がパリを出発した数時間後、フランスの警察が?小平のアパートを捜査に入り、10日後に国外追放令を出されていた。
1927年帰国し、ゲリラ活動を開始。紅七軍を政治委員として指揮するが、冒険的で無計画な李立三路線に振り回される。1931年、蜂起したものの根拠地を失った部隊と共に毛沢東率いる江西ソヴィエトに合流し、瑞金県書記となる。しかしコミンテルンの指令に忠実なソ連留学組が多数派を占める党指導部は、農村でのゲリラ戦を重視する毛沢東路線に従う?小平を失脚させる。
1935年、周恩来の助力で中央秘書長に復帰、長征に参加し八路軍一二九師政治委員となる。この後、華北方面での抗日ゲリラ戦や、1946年以降に国民党と戦った国共内戦で行われた淮海戦役・揚子江渡河作戦などで大きな戦果を収める。中華人民共和国の独立後も西南部の解放戦を指導し、解放地域の復興に努める。
1952年毛沢東により政務院常務副総理に任命され、そのほか運輸・財務の大臣級のポストを兼任する。その後昇進を続け、1956年には中央委員会総書記に選ばれて党内序列第六位になっている。
1957年には総書記として反右派闘争の指揮を取る。約55万人が迫害を受け、毛沢東の死後にその99%以上が冤罪であったと認められた事件であった[1]。
?小平は、毛沢東の指揮した大躍進政策の失敗以降、次第に彼との対立を深めていく。大躍進政策失敗の責任を取って毛沢東が政務の第一線を退いた後、共産党総書記となっていた?小平は国家主席の劉少奇とともに経済の立て直しに従事した。この時期には部分的に農家に自主的な生産を認めるなどの調整政策がとられ、一定の成果を挙げていったが、毛沢東はこれを「革命の否定」と捉えた。その結果、文化大革命の勃発以降は「劉少奇に次ぐ党内第二の走資派」と批判されて権力を失うことになる。
1968年には全役職を追われ、さらに翌年江西省南昌に追放される。そこでは政治とはまったく無関係なトラクター工場や農場での労働に従事した。「走資派のトップ」とされた劉少奇は文化大革命で非業の死を遂げるが、?小平は「あれはまだ使える」という毛沢東の意向で完全な抹殺にまでは至らず、一命を取りとめた。しかし与えられた住居には暖房設備もなく（南昌は冬は極寒の地である）、矯正労働は過酷なもので、何度か倒れたが砂糖水を飲んで凌ぐことしか許されなかった。
1973年周恩来の協力を得て中央委員に復帰するが、1976年には清明節の周恩来追悼デモの責任者とされ、この第一次天安門事件によって再び失脚、広州の軍閥許世友に庇護され生き延びる。同年毛沢東が死去すると後継者の華国鋒を支持して職務復帰を希望し、四人組の逮捕後1977年に再々復権を果たす。
1978年10月、日中平和友好条約締結を記念して中国首脳として初めて訪日し、日本政府首脳や昭和天皇と会談したほか、京都・奈良を歴訪した。(尚、彼はこの際に日本の躍進振りに対し戸惑いを見せたとされる。)その2ヵ月後の同年12月に開催されたいわゆる「三中全会」（中国共産党第十一期中央委員会第三回全体会議）において、文革路線から改革開放路線への歴史的な政策転換を図る。またこの会議において事実上中国共産党の実権を掌握したとされる。