明治大学経営学部在学中は学園紛争の時代で卓球の練習も授業もなく、気軽に足を運んだ新宿末廣亭で小学生のころにラジオで聴いてやっていた落語と再会[10]。在学中に六代目三遊亭圓生の弟子入りを志願し、圓生の自宅に通い落語を習っていたが、ある日圓生から「前座はぬう生と旭生がいるから3人も面倒見られない」と、明大の先輩でもある圓丈を通じて断られる。不憫に思った圓丈は彼宛に「落語協会はうちの師匠が会長だから、落語芸術協会（当時は日本芸術協会）に行って、古典落語をやりたかったら古典落語の得意な若手真打に弟子入りするのがいいんじゃないか?」とハガキを郵送する。このアドバイスを受けて、三代目三遊亭遊三に弟子入りする（前座名：三遊亭遊吉）[11][12][13][14]。また、学生時代に原宿を歩いていた際に遊三にスカウトされたとされる説もある。

前座時代には、同い年である林家九蔵（現：三遊亭好楽）の実家に居候していた時期がある。小遊三はこのことについて「（8人兄弟の好楽は）兄弟が多いから、ひとりぐらい増えても問題なかった」と回想している[注 2]。

1973年9月に二ツ目昇進し「小遊三」に改名。1980年、文化庁芸術祭優秀賞を受賞。鈴本演芸場は落語芸術協会に小遊三の真打昇進を何度か打診したものの、同協会が認めなかったため、1982年3月中席夜の部で二ツ目の小遊三をトリに起用した。2年後、鈴本演芸場は落語芸術協会と絶縁することになる。翌1983年3月、真打昇進。同年10月16日には、三遊亭好楽の後任として『笑点』の大喜利レギュラーに就任した。

1999年9月、落語芸術協会副会長付に就任。2001年、文化庁芸術祭優秀賞受賞。2005年2月、落語芸術協会副会長七代目春風亭柳橋死去に伴い、副会長に就任。12月には山梨県より「富士の国やまなし観光大使」を委嘱された。

2016年4月、心房細動不整脈によりカテーテルの手術を受ける[15]。2018年6月、落語芸術協会会長桂歌丸の死去に伴い、副会長在職のまま「会長代行」に就任。

2019年6月、落語芸術協会理事（会長代行兼副会長）を退任し、新設された参事に就任[16]。
人物・芸風

犯罪心理学者の出口保行は甥。小遊三は出口の母の弟である。叔父とは言え、出口と年齢が11歳しか離れていない。

1980年代中盤以降は『笑点』回答者としてのイメージが強いが、漫才ブームのころに売り出した数少ない落語家の一人であり、『笑点』出演以前も『らくごin六本木』や『オレたちひょうきん族』などのバラエティ番組で存在感を示していた。『笑点』はその実績が買われて起用されたものである。若いころは物真似芸をよく披露しており、『笑点』の演芸コーナーでは、野球選手のフォームの真似をする「野球形態模写」を桂米助（ヨネスケ）と共に披露したこともあった。高田文夫は、一緒に韓国プロ野球を観戦に行った際、小遊三が即興でやった韓国人選手の形態模写が現地で大ウケだったのを見て「小遊三の芸は本物だ」と思ったという。

長屋ものなどの古典落語専門で、主に軽い噺を得意とする。落語家としての持ちネタは多く、同じ演目を連続で何度も繰り返すことは少ない。落語には独自のアレンジを加えることもあり、時代背景を考慮する必要のない（変えたとしても差し支えない）古典落語には時事ネタやカタカナを比較的多く挿入し、時代背景を考慮する落語については時代空間を壊さない程度にオチや使う歌などを変更している。人情噺を語ることはない。

桂米助が落語家を辞めようとした時柳亭痴楽と共に落語家を辞めるのを思い止まる様に説得して引き止めた。それを米助のYouTubeに出て小遊三の話をしていた流れで話したのを聞いた三遊亭好楽は涙した。
大喜利メンバーとして

三遊亭好楽の後任として1983年10月16日放送分より加入。当時は古今亭朝次（現：七代目桂才賀）が自身と同じ色男キャラで売っていたことから、小遊三と才賀が隣同士となった1986年1月5日放送分から才賀が降板した1988年3月27日放送分まで才賀と罵倒合戦を演じていた。1988年4月3日放送分より才賀の後任としてメンバーに復帰した好楽とも2022年1月16日放送分まで長らく席が隣同士となり、掛け合いを繰り広げていた[17]。

加入の話を持ちかけられた際にはドッキリではないかと疑い、本人の心境は「ウィーン少年合唱団の中に音痴がひとり、ポンと放り込まれたようなもん」だった[18]。それでも大喜利メンバーは同じ噺家だからという甘えがあったと本人は後年振り返っているが、プロデューサーだけは怖く、収録後にダメ出しを喰らったり、酒を飲みに行けば番組作りに対する思いを一晩中聞かされたりした。そんな中助け舟を出してくれたのは番組の先輩であり卓球仲間でもあった林家こん平だった。新米のころは席が当時の司会者の五代目三遊亭圓楽のすぐ近くの1枠[注 3]だったことから緊迫感を覚えていたが、歳を重ねるごとに性格が丸くなる圓楽を見て「世の中にはこれほどおもしろい人がいるのか」と印象を改めた[19]。

2008年からは林家たい平と互いの地元をネタにした罵倒合戦（大月秩父代理戦争）を繰り広げている[20]。2010年6月6日に大月市で、さらに同年10月24日には「第2弾」として秩父市で、大月市長・石井由己雄[注 4]と秩父市長・久喜邦康（いずれも当時）も交えたトークバトルが行われた[21]ほか、これ以降もたい平・小遊三による二人会を頻繁に実施している。昇太が司会に就任して以降は更に大月市をフランスのパリと主張する答えが多くなり、冒頭の挨拶で自身を「フランス系日本人」と称する。「大月の朝食はカプチーノとクロワッサン」「大月はフランス領」、大月の街をパリの名所（「セーヌ川」「シャンゼリゼ通り」など）に例えるなどの回答を行っている。

メンバーの中で最も下ネタを発することが多く、落語芸術協会副会長就任後は「便所でお尻を拭く会長」なるギャグも使っていた。他には、自分を反町隆史、木村拓哉、ペ・ヨンジュン、福山雅治（『集団左遷!!』で共演）、菅田将暉、横浜流星、アラン・ドロンやジョニー・デップなど様々な二枚目の有名人に例えるナルシストネタ、深川通り魔殺人事件の犯人に顔が似ていることから始めた泥棒・刑務所・手錠・食い逃げ・駅前の自転車窃盗などの犯罪者ネタ、自動販売機の釣銭拾いネタ、銀杏拾いネタ、雑誌の袋とじネタなども定番となっている（本人曰く「すき間産業」）[20]。

5代目圓楽や桂歌丸など歴代の大喜利司会者が司会を勇退する際、それぞれの司会者の振った最後の回答として「抱いてください」という誘い文句を言うことがあった（なお、後者の歌丸が最後の大喜利司会を務めた2016年5月22日の生放送ではこの発言に歌丸がおののき、小遊三のみならずメンバー全員の座布団が問答無用で全て没収される事態に至った[22]）。