初代から6代目までの間において、1995年12月4日以降、2005年9月30日までの7代目に変わるまでは、季節毎に、3ヶ月に一度、半年に一度の程度で、先代とのスタジオセットを交互に繰り返し、組み立て直して使用していた。2000年10月2日から2005年9月30日まで、5代目と6代目の2つのセットを、交互に交代した。背景にある小道具や花、壁紙は、改装やセット変更時以外にも頻繁に交換をしている。各セットの交代する時期が必ず、その当時のオープニングも最後になる。1996年頃までは、観客の後ろに今日のサイコロの目（お題）が設置されていたが、1996年頃から、今日のサイコロの目（お題）のボードが下手側に設置された。1998年頃まで表示板が上から、黄色・紫・オレンジ・青・ピンク・緑で、1998年頃から2016年3月31日（最終回）まで表示板が上から、ピンク・青・オレンジ・紫・緑・黄色に変わった。表示板の左横に赤いランプは、その時の出目（お題）だけがトーク中に点滅する。

初代（1991年1月7日 - 1996年12月30日）上手側のスペースには1991年1月7日 - 12月27日放送のみ、小堺・ゲストの入口にドアがあり、小堺・ゲストはドアを手で開けて入場していた。この当時はオープニングでテーマを表示する小型モニター3台もドアの横にあり、小型モニター3台の前にピアノが置いてあった。下手側のトークを行うスペースにソファと共に置かれたテーブルはテーマが書かれたプレートを小堺が置くと、テーブルに付いた扉が開き、内部からオブジェや物が迫り上がる仕組みだった。サイコロトーク方式になった同年9月9日放送に最初のマイナーチェンジ（改装）を実施した際には殆どの部分はそのまま使用していたが、上手側のドアの横にあった3台の小型モニター、ピアノが撤去され、小型モニターのあった場所の壁面には絵画が飾られるようになり、一番右端にはカウンターの様な台が設置された。また、テーブルは普通の物へと入れ替えられ、ソファーの配置も改められた。1992年頃に2度目のマイナーチェンジ（改装）を実施した際には、全面的にセットの壁の色の塗り直しなどが行われ、一部の縦長スリガラスの窓を撤去、テーブルやソファーも全て変更したほか、上手側の小堺・ゲスト入口のドアがなくなり、小堺・ゲストがそのまま入れるようになった。サイコロを転がすエリアも、チェッカーとなり、色も度々変わっていた。水槽も一旦撤去され、その場所は横長のスリガラスに変更された。1992年2月24日に「前のソファーがパンツみたいだ」と言う事から、緑とピンクのソファーにマイナーチェンジされた。1994年頃に再びマイナーチェンジ（改装）を実施し、横長のスリガラスだった場所に水槽を再び設置し、スリガラス窓の外側は水槽のように泡が吹いている演出が施された。座るソファーのクッションが、3代目セットでも使用された。1996年のこのセットの末期にマイナーチェンジがされており、壁に動物などが飾られたり、水槽の形が丸くなっていた。

2代目（1995年12月4日 - 2000年3月31日）本格的な番組開始以来初の変更となる。先代とは雰囲気が大きく変わり、洋風の雰囲気を強調したセットになった。小堺とゲスト背景に暖炉を模したものがあり、当代は冬季を中心に使用されていた。このセットで、初代セットと3代目セット背景にあった水槽が一旦撤去された。当初は下手側にピアノを模したものが設置されていたが、1997年1月6日にこの代に戻った際からピアノを撤去し、ロッキングチェアに交換し、サイコロを転がすエリアは、緑とピンクのチェッカーとなり、1998年1月5日から緑と黄色となった。このセット末期の2000年1月6日に観客席の拡大により観客数が増加した。それにより出演者に近い位置となったことから、セット全景がカメラに映る時も1列目の観客の頭が見えるようになる。このセットは東京テレビセンター浜町スタジオ時に使用されたが、スタジオのお台場移転後も使用された。1997年1月6日から始まり、1998年1月5日から始まり、1998年11月30日から始まり、1999年11月29日から始まっていた。1997年の春休みトリオフェア最終日（1997年4月4日）と2000年の春のトリオフェアの最終日（2000年3月31日）でこのセットが終了。

3代目（1996年7月1日 - 2000年9月29日）東京テレビセンター浜町スタジオ時代の新規セットとしては最後となる。夏季を中心に使用されていた。このセットで、1999年6月頃から、今日の当たり目の「至福・恐怖の顔写真館」で撮影した、そのゲストのサイン入り写真をセットに、飾るようになった。4代目セット・2代目セットにも、顔写真の飾りがある。このセットも2代目セットと同様に東京テレビセンター浜町スタジオ時に使用されたものだが、スタジオのお台場移転後も使用された。2000年7月3日から2000年9月29日まで小堺及び、ゲストの席の座る位置が変わった。それと同時に、観客席がさらに拡大され、より出演者に近い位置となったことから、セット全景がカメラに映る時も1列目の観客の頭が見えるようになる。

4代目（1997年4月7日 - 2000年6月30日）全体の配色として、赤と白を基調としたセットであった。このセットの名前は「cafe de Lion」。ゲストの入口横には、2代目セットと3代目セットにも設置していた “931” と書かれたポストを模したものが置かれていた。この4代目セットが、お台場のスタジオになってから初めて新規に作られたスタジオセットであった。この4代目セット末期の2000年4月3日から観客席がさらに拡大され、より出演者に近い位置となったことから、セット全景がカメラに映る時も1列目の観客の頭が見えるようになる。秋も使用していており、1998年は9月頃から使用し、1997年は12月末までだったが、1998年、1999年は11月下旬で最後だった。ごきげんようin仙台（1999年7月5日 - 1999年7月9日）とごきげんようin福岡（1999年11月1日 - 1999年11月5日）でも4代目セットだった。

5代目（2000年10月2日 - 2005年4月1日）このセットから、登場口が下手側から上手側へ登場するようになった。このセットと5代目セットは、出演者の座る席が木の椅子に。その上手側のゲスト席は、2人組、3人組などが出演した場合、補助椅子が追加され、収録の合間（CM中）に入れ替わる。小堺が座る司会者席が2003年頃から背もたれがなくなった。このセットからサイコロの置く場所が変わり、それまで初日のゲストがサイコロを振るまでは上手側のゲスト席の後ろに置いてあったのを、当たり目のハガキBOXの右横に移動したが、オープニングから当たり目のハガキBOXの左横に置くようになった。