1978年10月、日中平和友好条約締結を記念して中国首脳として初めて訪日し、日本政府首脳や昭和天皇と会談したほか、京都・奈良を歴訪した。(尚、彼はこの際に日本の躍進振りに対し戸惑いを見せたとされる。)その2ヵ月後の同年12月に開催されたいわゆる「三中全会」(中国共産党第十一期中央委員会第三回全体会議)において、文革路線から改革開放路線への歴史的な政策転換を図る。またこの会議において事実上中国共産党の実権を掌握したとされる。この会議の決議内容が発表されたときは全国的な歓喜の渦に包まれたという逸話が残っている。
経済面での改革に続き、華国鋒の掲げた「二つのすべて」と呼ばれる教条主義的毛沢東崇拝路線に反対して華国鋒を失脚へと追い込み、党の実権を完全に握った。その後は若手の胡耀邦らを前面に立て、国共内戦などから党に在籍し「革命第一世代」と呼ばれる老幹部たちを自らと共に中国共産党中央顧問委員会へ移して政策決定の第一線から離すなどの措置を執った。ただし、ケ小平は自らは決して序列一位ではなかったが、死去するまで実質的には中華人民共和国の最高権力者であった。ケ小平は党中央軍事委員会主席となって軍部を掌握、1987年に党中央委員を退き表向きはヒラの党員となっても2年後の1989年までこの地位を保持し続けた。後に趙紫陽が明らかにしたところではこの際に中央委員会で「以後も重要な問題にはケ小平同志の指示を仰ぐ」との秘密決議がなされた。天安門事件後には一切の役職を退くが以後もカリスマ的な影響力を持った。
1986年には反右派闘争などで冤罪となった人々の名誉回復に取り組む胡耀邦総書記、趙紫陽首相らに対する談話で「自由化して党の指導が否定されたら建設などできない」「少なくともあと20年は反自由化をやらねばならない」と釘を刺している[2]。
ケ小平は中国共産党の指導性をゆるがす動き(=自らに敵対する動き)には厳しい態度で臨み、1989年には天安門事件で学生運動の武力弾圧に踏み切った。この事件については初め学生運動に理解を示していた趙紫陽総書記ら指導部に対して、軍部を掌握していたケ小平が一貫して強硬路線を指示し、最終的に中国人民解放軍による武力弾圧を決断したといわれる。
事件後ケ小平は、武力弾圧に反対した趙紫陽の解任を決定した上で、側近の1人で武力弾圧に理解を示した江沢民を総書記へ抜擢した。
政治面では社会主義と中国共産党の指導性を強調し、経済面では生産力主義に基づく柔軟な経済政策がケ小平の基本姿勢である。
また、公職から退き、表面的には引退しつつ影響力を維持していた1992年1月-2月(春節)には深?や上海などを視察し、南巡講話を発表した。経済発展の重要性を主張し、ソビエト連邦の解体などを例にして経済改革は和平演変による共産党支配体制の崩壊につながると主張する党内保守派を厳しく批判したこの講話は、天安門事件後に起きた党内の路線対立を収束し、改革開放路線を推進するのに決定的な役割を果たした。以後、中華人民共和国は急速な経済発展を進めることになった。
ケ小平の行った代表的な経済政策として、「改革・開放」政策の一環である経済特区の設置がある。外資の導入を一部地域に限り許可・促進することにより経済成長を目指すこの政策は大きな成果を収めた。生産力の増大を第一に考える彼の政策は「白猫であれ黒猫であれ、鼠を捕るのが良い猫である」という「白猫黒猫論」に表れている。
また1984年12月には、イギリスのマーガレット・サッチャー首相との間に「一国二制度」構想の元に、イギリスの植民地であった香港の返還に関する合意文書に調印している。
ケ小平は香港返還を見ることなく、パーキンソン病に肺の感染の併発で呼吸不全に陥り、1997年2月19日21時8分に死亡した。享年93。遺言は唯物主義にのっとり、角膜などを移植に寄付し、他の遺骸は解剖学のために献体された。同年3月2日11時25分、遺灰は親族によって中華人民共和国の領海に撒かれた。
中国中央電視台はケの死をトップに報道し、江沢民は弔意を表し、天安門には半旗が掲げられた。しかし、中華人民共和国各地の市民の生活は平常どおり営まれていた。これは毛沢東が死んだとき盛大に国葬が営まれたのと対照をなす。
ケ小平の死後、ケが唱えた社会主義市場経済や中国共産党の正当化などの理論は、ケ小平理論として中国共産党の指導思想に残された。
名前の小平(シャオピン)の発音が小瓶と同じことから、しばしば「小瓶」と渾名されている。また、身長150センチと小柄ながら頭の回転が速く眼光人を刺す如く鋭かったことから「唐辛子風味のナポレオン」、「ケ蝟子(ハリネズミのケ)」、「ケ矮子(チビのケ)」と呼ばれたりもした。毛沢東はケ小平の人となりを「綿中に針を蔵す」と評した。
フランス留学の経験もあり、ワインとチーズが大好物でヨーロッパ文化への嫌悪感を持たなかったケ小平は、いくつかの趣味を持っていた。
特に有名なのはコントラクトブリッジであった。政府や共産党の公職から退いた後も、中華人民共和国ブリッジ協会の名誉主席を務め、国際的にも有名となった。
また、サッカー好きでも知られていた。FIFAワールドカップの時には、ビデオなどを使ってほとんどの試合を見ていたと言われている。
背が伸びなかったのは、フランス滞在中、満足に食事を取れなかったからだと後年、語っていた。
ケ小平の言葉として「白猫であれ黒猫であれ、鼠を捕るのが良い猫である」という「白猫黒猫論」が有名であるが、これは四川省の古くからの諺である。実際に彼が言ったのは「白い猫」ではなく「黄色い猫」だとする説もある。最もケが好んだ言葉であり、毛沢東がケを弾劾する際に弾劾理由の一つとしている。
1978年の訪日時には様々な談話を残した。「これからは日本に見習わなくてはならない」という言葉は、工業化の差を痛感したもので、2ヶ月後の三中全会決議に通じるものであった。また、帝国主義国家であるとして日本を「遅れた国」とみなしてきた中華人民共和国首脳としても大きな認識転換であった。新幹線に乗った際には「鞭で追い立てられているようだ」という感想を漏らしている。