その後、カステラーノら5大ファミリーのボスや幹部が一斉起訴されたのに伴い、ゴッティが行なっていた麻薬取引はカステラーノに知られてしまう。それはゴッティのグループの解体と、さらにはゴッティの命の危険を意味した。ゴッティはサルヴァトーレ・グラヴァーノら若手構成員らによるカステラーノの暗殺計画を立て、1985年12月16日に実行させた。一方的に自分のボスを暗殺してコミッションの怒りを買わないために、ニューヨークの他の四つのファミリーの幹部と連絡を取り、意見を聞いていた。カステラーノを暗殺するヒットマンには4人全員に同じ服装をさせ、目撃者から特定されないようカモフラージュさせた。
翌1986年にガンビーノ一家の幹部たちで会議を開き、21人全員の推薦でボスになった。当時45歳。一部の手下からはボスになってから長くは持たないと予想され、ローマ教皇になってすぐに死亡したヨハネ・パウロ1世にたとえられて、「ジョン・ポール（ヨハネ・パウロ）・ゴッティ」と裏で囁かれた。ボスになった後、コンシリエーレ（相談役）だったジョー・N・ギャロ（ギャロ兄弟とは関係ない別人）を下ろしてフランク・ロカシーオ（Frank Locascio）を昇格させ、グラヴァーノを幹部にするなど、組織の若返りを計った。
一方、ジェノヴェーゼ一家のボスのヴィンセント・ジガンテはこの簒奪劇を認めず、ルッケーゼ一家のボスヴィクター・アムーソ（Victor Amuso）と組んで同年4月13日にアンダーボスに昇格したばかりのフランク・デチッコを殺害した。
ボスになってからは部下から多くの上納金を受け取り、年間所得は2000万ドルはあるとも目されていた。合法的な所得は配管工事用品の販売係とジッパー会社の役員の仕事からなる7万5000ドルだったとされている。ギャンブルなどでの派手な散財も目立った。他の一家のボスと比べると時代遅れの考え方をしたボスだったという説もある[要出典]。1989年には、FBIの公聴会で長年の友人ウィルフレッド・ジョンソンが1969年以来FBIの内通者だったことが判明した。ゴッティは同年8月29日にジョンソンを射殺している。
フィラデルフィアの"リトル・ニッキー"・スカルフォと深いつながりを持ち、アトランティックシティの縄張りを分け合っていた。しかし、1989年11月までにスカルフォの甥のフィリップ・レオネッティが捕まると、レオネッティは自分の減刑と引き換えにゴッティのカステラーノ殺害における役割を法廷で証言していた。
1990年2月の裁判では殺しの命令をしている盗聴テープが法廷で流されたが無罪になった。数回にも渡り告発、起訴されたにもかかわらずなかなか有罪判決を受けなかったことから、傷のつかないコーティング素材に例えられ「テフロン・ドン（傷がつかないドン）」ともあだ名された。また、判決を受けた後などにマフィアのボスの身でありながら颯爽とテレビに顔を出し、FBIをあざ笑っていた。当時ガンビーノ一家はウィリアム・ペイストという組織犯罪の情報課の刑事をスパイとして使い、警察やFBIの情報を手に入れていた。後にペイストは組織犯罪への関与が発覚して有罪を受けている。
一方、ルッケーゼ一家によるゴッティを狙ったテロは続き、1990年11月6日にはカステラーノ暗殺の実行犯の一人で側近のエドワード・リノが、ルッケーゼ一家と通じたニューヨーク市警察の刑事、ルイス・エッポリトとスティーヴン・カラカッパにより射殺されている。ゴッティはジガンテ、アムーソらと粘り強く会合を続けた。
密告と逮捕ジョン・ジュニア（中央）
ブルース・モウら率いるFBIに徐々に追い込まれ、1990年12月11日火曜日にゴッティは組織の本部のレイヴナイトクラブでロカシーオとグラヴァーノと一緒に逮捕される。テレビ出演や雑誌への露出などによる人気があったゴッティの逮捕を受け、一部市民による暴動が起きている。その頃アメリカは湾岸戦争真最中で、裁判を待つ間、留置場でゴッティはアメリカ政府ともめていたためイラクを応援していたという。
留置場にいる間に相当疑り深くなり、グラヴァーノとロカシーオには自分のいない所で弁護士に会うなと言うなど、2人のことをまったく信用しなくなった。このことで2人は「ゴッティの頭がおかしくなった」と思ったという。
その後、ゴッティにとって最大の衝撃が起きた。アンダーボスのグラヴァーノがFBIの証人保護プログラムに入りFBIに協力してしまった。1991年2月12日に裁判が始まり、グラヴァーノが法廷で組織のことを証言し、4月2日に有罪を受ける。13件の殺人への関与や不法賭博などの罪状で、起訴状にある14の訴因ですべて有罪を受け仮釈放のない終身刑を受けた。その後、ガンビーノ一家の7人のカポが実刑を受け、その中にトミー・ガンビーノもいた。
服役中は息子のジョン・ジュニアが月に2回面会に訪れていたという。服役中に他の囚人からリンチを受けた噂もある。当時全米最大のマフィア・ファミリーを率いている彼の失脚がイタリア系犯罪組織没落の大きなきっかけになったと言われている。 ゴッティは2002年にミズーリ州スプリングフィールドの刑務所内の病院で喉頭癌のために死去し、ニューヨークのセント・ジョーンズ墓地の息子のフランク（下記）と同じ区画に埋葬された。
死去
