1965年から1966年にかけて、後にザ・バンドとなるバックバンド、レヴォン&ザ・ホークスをしたがえて世界ツアーをこなす。既述のように、ここでも初期の弾き語りを求めるファンやメッセージ性の強い曲を好む観客からの非難、リズムを乱すようにしむける不規則な手拍子、足踏みなどの妨害行為は収まらなかったが、それに対し挑戦的にバンド演奏を繰り広げるディランの姿は『ロイヤル・アルバート・ホール(ブートレッグ・シリーズ第4集)』(1998年)[注釈 28]、映画『イート・ザ・ドキュメント(Eat the Document)』などに収録されている[注釈 29]。『ロイヤル・アルバート・ホール』では、バンドが次曲の準備をしている最中に観客の一人が「ユダ(裏切り者)!」と叫ぶと、場内に賛同するような拍手や、逆にそれを諌める声などが起こった場面が収められている。その中でディランは「I don't believe you... You're a liar!」と言い放つと、怒涛の迫力で「ライク・ア・ローリング・ストーン」の演奏をはじめた。嵐のような演奏が終わると、放心状態だった会場からは惜しみない拍手が巻き起こったが、ディランはぶっきらぼうに「ありがとう」と言い残し、そのままステージをあとにした[注釈 30]。
またこの頃使用し始めたLSDは、ビートルズやザ・ビーチ・ボーイズらと同様、作風にも大きく影響し、特にディランの声を大きく変化させた。
この時期のアルバム未収録曲としては、「ビュイック6型の想い出 ("From a Buick 6") 」のハーモニカバージョン、「窓からはい出せ」のアル・クーパー、マイク・ブルームフィールドによるセッション(当初、「Positively 4th Street」と誤記されたシングル盤が出回ったため回収。再発売され、後に『バイオグラフ』(1985年)に収録された公式バージョンはザ・ホークスとの再録音)などがある。「イート・ザ・ドキュメント」の中でレノンと彼のリムジンの中で会話を収録しようとしたが、なぜか酔っていたディランはまともな会話が出来ず、呆れて失望したレノンは酷い嫌味を言うようになってしまった。結果的にディランは醜態を見せ、それまでディランに傾倒していたレノンに決別を決意させてしまう結果になった。その映像はカットされたがビートルズの海賊盤のCDやビデオやDVDに収録されている。 こうして最初の絶頂期を迎えていた[79]1966年7月29日に、ニューヨーク州ウッドストック近郊で[80]交通事故を起こす[81]。重傷が報じられ[82][注釈 32]、すべてのスケジュールをキャンセルして[83]隠遁。再起不能説や死亡説などの噂が流布した[84]。しかし当時、ドラッグ[85]とコンサートツアーに明け暮れ、「競争ばかりの社会から抜け出したかった」[81]ディランにとってはかえってよい休養となった[86][83]。事故の三週間程前、秘密裏に結婚していたサラ・ラウンズとの間に子供が生まれ、家族以外のことには興味を持てなくなっていたディラン[81]の大きな転機である[86][85]。 翌1967年からはウッドストックに隠遁し、ザ・ホークスのメンバーとともにレコード会社向けデモテープの制作に打ち込む。このセッション音源をもとにしたアセテート盤が配布され、マンフレッド・マンによる「マイティ・クイン ("Quinn the Eskimo (The Mighty Quinn)
バイク事故と隠遁
1967年にはベネルックス三国にて、地元のバンドによるコーラスをオーバーダビングした「出ていくのなら ("If You Gotta Go, Go Now") 」が発売された。1991年発売の『ブートレッグ・シリーズ1 - 3集』に収録されたものとは全く違う、ハーモニカなしのものであった。