画面の上では陽気なカーリーだが、私生活では病的にシャイで、こちらも暴力的な役柄とは違って温厚な性格ながらも几帳面な真面目人間である兄モーを必要以上に恐れていた。次第にカーリーはストレス解消のため、撮影の合間にモーの目を逃れ酒色にふける様になる。その結果、生活が乱れ体に変調を来して脳卒中にかかってしまう。台詞も動きも衰えたカーリーを見かねたモーはハリー・コーンに休養を願い出るが、アメリカ国内はもとより戦地でも高い人気を誇る（第二次世界大戦下では敵国ドイツ、日本を笑い者にする作品もあり戦意高揚の役割を果たしていた）故に許可されず、その間にもカーリーの病状は悪化の一途をたどっていった。作品にも動きが緩慢で大儀そうになり、しゃべり方も声のトーンが下がりまだるっこしい台詞回しになるなど、心身ともに衰えて行くカーリーの姿が如実に現れている。その対策として、本来はカーリーが演じる筈の役割をラリーやモーに振り分け彼の出演箇所を減らしたり、過去の作品からカーリー全盛期のシーンを流用したりするといった苦肉の策が採られた。そして1946年、「Half-Wits Holiday」 の撮影中にカーリーは重度の脳卒中を再発して入院、物語のクライマックスに当たるパイ投げ合戦を前に画面から忽然と姿を消してしまう。彼の離脱によって「三ばか大将」はハリー・コーンに解散、解雇を迫られる。それを救ったのが実の兄のシェンプである。
モー、ラリー、シェンプ左からモー、シェンプ、ラリー。
「Sing a Song of Six Pants」（1947）「Malice in the Palace」（1949）

弟カーリーが戻ってくるまで受け皿を守り抜きたいモーは、わらをもつかむ気持ちで兄シェンプを訪ねた。一本立ちの喜劇俳優になって主演映画も数多くこなし、1942年公開の映画「Pittsburgh」ではマレーネ・ディートリヒやジョン・ウェインと言った大スターとも共演していたシェンプであったが、単独でのスターの道を開いてくれたモーの願いを聞き入れ、「カーリーの病気が癒えるまで」という条件で「三ばか大将」に復帰する。スターとしてのキャリアを無視したシェンプの英断、それを導いたモーの熱い思いにハリー・コーンも折れ、「三ばか大将」はモー、ラリー、シェンプ（日本語吹き替え：久野四郎）のトリオとして再スタートを切ることとなった。

童顔で無邪気な子供の様なキャラクターのカーリーに比べ、当時既に50歳を超えていたシェンプに年少者を中心に違和感を覚えたファンも多かった。これに対してシェンプは仏頂面で堅物そうな見た目に反してとんでもないドジをやらかすおじさんという、カーリーとは全く違った役づくりで応えた。シェンプの引きつった様な金切り声の笑い、恐れをなした時やイビキをかいている時に発する"bee-bee-bee-bee-bee-bee!"の奇声、両肘を張って膝を曲げヨタヨタと前進する歩き方、殴られた時に数メートル後ろに飛ばされる倒れ方、次々に攻撃されてフラフラになりながらも倒れそうで倒れない等、センターで分けた長めの髪を振り乱しながら演じるアクロバティックな熱演は、三ばか大将の新たな魅力を引き出し77本の作品を生み出す。アメリカでは長くメンバーであったモーとラリーに対してカーリーやシェンプは「Third stooge」と称されることがあるが、殆どで主役を演じるのは「Third stooge」である。

1947年公開の「Hold That Lion!」では、病状が一段落したカーリーがゲスト出演、髪型こそ坊主頭ではなかったものの、作中では"Woo, woo, woo"の奇声や犬の鳴きまね"Ruff, ruff"を披露し、復活に向けての希望を抱かせた。だがその後もカーリーの病気は容赦なく進行し、1952年に48歳の若さで死去する。結果的に同作品は、ハワード三兄弟が顔を合わせた最初で最後の映画になった。短いつなぎ役だと思って引き受けたシェンプの予測は外れてしまい、以後も「三ばか大将」のメンバーとしての活動が続く。また同年、シェンプも軽い脳卒中で倒れるが事なきを得て映画制作は続行され、さらにテレビにも活動の場を広げる。とはいえ、この頃より短編映画はテレビの台頭で斜陽となり、さらに1950年代の不況も重なって、年を追うごとに制作環境が劣悪になっていった。制作費節約のため、旧作の台本の焼き直しやフィルムの流用も頻繁に行われた結果、質の低下を招いて人気にかげりが出始めた。

カーリーが天国へ旅立ってからわずか3年後の1955年、「三ばか大将」にまた突然の悲劇が訪れる。一番の人気者であるシェンプが心臓発作で急死してしまったのである。この時、コロンビア映画との契約で残り4本は撮らなければならない状況にあったため、これら4本については過去のフィルムを再編集し、足りない部分はシェンプと背格好の似ているジョー・パルマ（Joe Palma）（1905年3月17日 - 1994年8月14日) に後ろ姿で演技をさせたり、変装させて顔が分からない様にしたりして付け足し急場をしのぐ。このことが後にハリウッドにおいて、有名俳優の代役を無名の俳優が自分の存在を消して演じることを「Fake Shemp」と呼びならわす由来となった。
二人のジョー

映画こそ不評ではあったが、「三ばか大将」の人気はテレビの再放送により目立って衰えることは無かった。ファンの間では再放送で依然として支持の高いカーリーのキャラクターが復活することを待ち望む声が大きかった。そこでモーは新作を作るにあたり丸坊主のデブを捜すことになるのだが、度重なるオーディションを経て1956年にシェンプとはアボットとコステロの映画「凸凹猛獣狩」などで共演経験もあるハゲ頭の中堅コメディアン、ジョー・ベッサー（Joe Besser 1907年8月12日 - 1988年3月1日）を加入させることを決める。しかし喜劇俳優としてのプライドの高さから、ジョーはパイ投げをはじめとするドタバタギャグを嫌い、1958年には脱退してしまう。ジョー・ベッサーの「三ばか大将」としての出演作品は16本に留まった。そして同年、カーリー、シェンプ時代と合わせて190本の短編映画を残し「三ばか大将」はコロンビア映画との専属契約を終える。左からラリー、モー、カーリー・ジョー。（1962）

ジョー・ベッサーの脱退を受けて、誘われたのが肥満体の俳優ジョー・デリータ（Joe DeRita 1909年7月12日 - 1993年7月3日）である。彼はカーリーのように丸坊主頭にして奮闘し、「カーリー・ジョー」の役名を得る。このことからも、彼にかかる期待の大きさと、カーリーの存在の偉大さを窺い知ることが出来る。カーリー・ジョーが加入した1959年以降、「三ばか大将」は「Snow White and the Three Stooges」（1961年）など長編の主演映画にも進出、1963年には名匠スタンリー・クレイマー監督でスペンサー・トレイシー主演のオールスター映画『おかしなおかしなおかしな世界』や、ロバート・アルドリッチ監督でフランク・シナトラ主演の『テキサスの四人』へのゲスト出演も果たす。さらに1965年には実写とアニメを合わせたテレビ番組「新三ばか大将（英語版）」がスタートする。同番組は日本でも放送され、この時の吹き替え陣は、モー：玉川良一、ラリー：滝口順平、カーリー・ジョー：柳家小のぶであった

カーリー・ジョーを含めた3人体制は10年余りにおよんだが、1971年にラリーが脳卒中で倒れ、3人での活動が難しくなってしまった。モーは数々の作品で脇を固めていたエミール・シーカ（Emil Sitka 1914年12月22日 - 1981年1月16日）に、ラリーが復帰するまで彼の髪型にさせて存続をはかるが実現には至らず、結局1975年1月にラリーは帰らぬ人となった。彼の死から4ヶ月後には、屋台骨を支え続けて来たモーも後を追うように逝去、ここに「三ばか大将」は50年余りの歴史に幕を引いた。