1961年、アトランティックを離れ、インパルス!レコードに移籍。3月にはマイルスのアルバム『サムデイ・マイ・プリンス・ウィル・カム（英語版）（邦題：『いつか王子様が』）』の録音にゲスト参加[注釈 18]。その後、新進気鋭のリード奏者エリック・ドルフィーを演奏者兼、編曲者として自己のバンドに加え、大規模なブラス・セクションによるセッションを行う。ここからは、インパルス!における初のアルバムとして『アフリカ・ブラス』『アフリカ・ブラス・セッション vol. 2』が生まれた。その直後、再びアトランティックにアルバム『オーレ!コルトレーン』を録音。同年秋には、ニューヨークのライブ・ハウス「ヴィレッジ・ヴァンガード」にほぼ連日出演するほか、ヨーロッパツアーにも出かけた。これらの演奏の様子は、後年『ライヴ・アット・ザ・ヴィレッジ・ヴァンガード』を初めとするライブ・アルバムで聴くことができる。
後期（1962年から1964年）

1962年、エリック・ドルフィーが退団。以後、コルトレーンはマッコイ・タイナー、ジミー・ギャリソン（ベース）、エルヴィン・ジョーンズというほぼ固定されたメンバー[注釈 19]によるカルテットと、バンド全体が一体となって演奏を繰り広げるグループ表現を確立。コンサートでは1曲の演奏時間が30分から1時間に及ぶことも多かった。

このように、コルトレーンは激烈なライブ演奏を繰り広げる一方、スタジオ・レコーディングではインパルス!レコードの看板アーティストとしてレコードの売り上げにも配慮し、デューク・エリントンとの共演（『デューク・エリントン&ジョン・コルトレーン』、1962年録音）、スロー・バラードを取り上げた『バラード』（1962年録音）、ジャズ・ボーカルをメインに据えた『ジョン・コルトレーン&ジョニー・ハートマン』（1963年録音）などのアルバム製作にも取り組んだ。

1964年、夭折したドルフィーの両親から遺品のバス・クラリネットとフルートを譲り受ける。年末には『至上の愛』を録音。1965年に入ると、コルトレーンのモード・ジャズは極限にまで達し、調性にとらわれず、あらゆるスケールを縦横無尽に扱う「無調性音楽」の色彩が濃くなっていく。
フリー・ジャズ期（1965年から1967年）

1965年6月、コルトレーンはアルバム『アセンション』を発表し、初めてフリー・ジャズに取り組む。コルトレーンはこの時期、マイルスと並んでジャズの指導者的立場にいたが、そのような人物がフリー・ジャズを支持したことは、それまでフリー・ジャズの音楽的意義を理解せず、価値を認めようとしなかった保守的ジャズ・ファンに大きな衝撃を与えた。同時期にコルトレーンはバンドにテナー・サックス奏者の ファラオ・サンダースを加入させ、静のコルトレーンに対して動のサンダースという構図を作り出した。なお、コルトレーンのフリー・ジャズは、激烈さの中に静謐さが同居するもので、瞑想的と表現されることが多い。

1965年頃までのコルトレーンは、サックスを吹く際にほとんどヴィブラート奏法を用いなかったが、晩年になると強烈なヴイブラートをかける奏法に変化していく。
同年12月にマッコイ・タイナー（Pf）がバンドを離れ、アリス・マクレオド（アリス・コルトレーン、1966年にジョンと結婚）が加入。1966年3月にはエルヴィン・ジョーンズも退団し、ラシッド・アリをドラマーとして加入させる。

1966年7月に来日。9都市を廻る大がかりな公演を行う。記者会見で「10年後のあなたはどんな人間でありたいと思いますか?」という質問に対し、コルトレーンは「私は聖者になりたい」と答えたというエピソードがある。また、同じ会見にて「最も尊敬する音楽家は?」という問いに対し、オーネット・コールマンの名前を挙げたといわれる。

1967年5月7日、ボルチモアで最後のコンサートを行う。7月17日、肝臓癌で亡くなる。
私生活コルトレーンが住んでいた家

ピアニストのアリス・コルトレーンを妻に、サックス奏者のラヴィ・コルトレーンを次男に、サックス・クラリネット奏者のオラン・コルトレーンを三男に持つ。また、エレクトロニカで知られる、フライング・ロータスことスティーヴン・エリソンは彼の甥である。

甘党で虫歯だらけだったが、歯医者嫌いだったという。