従来のフォーク・ソング愛好者、とくに反体制志向のプロテストソングを好むファンなどには、この変化は「フォークに対する裏切り」と解釈された。なかでも1965年のニューポート・フォーク・フェスティバルで、ディランはバック・バンドと共に数曲演奏したが、トーキングブルースなどの弾き語りを要求するファンから強い非難を受けた。ディランはやむなく舞台を降りた後、アコースティック・ギターを持って再登場し、観客に「お前らなんて信じない」(I don't believe in you, you're a liar!)と言い放ち、過去の音楽との決別を示唆するかのごとく「イッツ・オール・オーバー・ナウ、ベイビー・ブルー」を涙ながらに歌いあげた[77]、という逸話が有名である（しかし、これはあくまでサイ&バーバラ・リバコブの伝記に記述された、ややドラマティックな脚色がもたらした風説である。非難はひどい音響とあまりに短い演奏だったことに対するものであり、実際には歓声もあがっていたという証言もある[78]。また、バンドで用意した曲だけでは時間が余ったため、アコースティック・ギターで数曲を披露したに過ぎないという証言も存在する）。
このような非難にもかかわらず、これら3枚のアルバムでディランは従来以上に新しいファン層を多く獲得した。内省的で作家性の強い原曲を、アメリカ社会のさまざまなルーツミュージックやリズム&ブルースなどのバンドアレンジに乗せたこの時期の作品が、ロック史の大きな転換点として位置づけられている。また、この頃の歌詞はアレン・ギンズバーグらの文学者からも絶賛されるようになっており、ロックの歌詞が初めて文学的評価を獲得したものとして重要である。
中でもアル・クーパー、マイク・ブルームフィールドらの参加でバンド演奏を全面的に取り入れた『追憶のハイウェイ61』からのカット、「ライク・ア・ローリング・ストーン」が、キャッシュボックス誌ではじめて（そして唯一の）シングルチャートNo.1となった（ビルボードでは2位。1位はビートルズの「ヘルプ!」）。その他「寂しき4番街」が7位、「雨の日の女 (Single Edit.) 」がビルボード、キャッシュボックス誌で共に最高2位、[注釈 27]。"「アイ・ウォント・ユー」が20位、「女の如く」が33位を獲得するなど、次々チャートアクションを記録した。しかしその記録だけでなく、今日のミュージックシーンにおいていわゆる「ディランズ・チルドレン」を自認してきた大御所ミュージシャンに、さらに多くのフォロワーが枝分かれしている事実からも「シンガー・ソングライター」という系統を確立した役割は遥かに大きいといえる。
1965年から1966年にかけて、後にザ・バンドとなるバックバンド、レヴォン&ザ・ホークスをしたがえて世界ツアーをこなす。既述のように、ここでも初期の弾き語りを求めるファンやメッセージ性の強い曲を好む観客からの非難、リズムを乱すようにしむける不規則な手拍子、足踏みなどの妨害行為は収まらなかったが、それに対し挑戦的にバンド演奏を繰り広げるディランの姿は『ロイヤル・アルバート・ホール（ブートレッグ・シリーズ第4集）』（1998年）[注釈 28]、映画『イート・ザ・ドキュメント(Eat the Document)』などに収録されている[注釈 29]。『ロイヤル・アルバート・ホール』では、バンドが次曲の準備をしている最中に観客の一人が「ユダ（裏切り者）!」と叫ぶと、場内に賛同するような拍手や、逆にそれを諌める声などが起こった場面が収められている。その中でディランは「I don't believe you... You're a liar!」と言い放つと、怒涛の迫力で「ライク・ア・ローリング・ストーン」の演奏をはじめた。嵐のような演奏が終わると、放心状態だった会場からは惜しみない拍手が巻き起こったが、ディランはぶっきらぼうに「ありがとう」と言い残し、そのままステージをあとにした[注釈 30]。
またこの頃使用し始めたLSDは、ビートルズやザ・ビーチ・ボーイズらと同様、作風にも大きく影響し、特にディランの声を大きく変化させた。
この時期のアルバム未収録曲としては、「ビュイック6型の想い出 ("From a Buick 6") 」のハーモニカバージョン、「窓からはい出せ」のアル・クーパー、マイク・ブルームフィールドによるセッション（当初、「Positively 4th Street」と誤記されたシングル盤が出回ったため回収。再発売され、後に『バイオグラフ』（1985年）に収録された公式バージョンはザ・ホークスとの再録音）などがある。「イート・ザ・ドキュメント」の中でレノンと彼のリムジンの中で会話を収録しようとしたが、なぜか酔っていたディランはまともな会話が出来ず、呆れて失望したレノンは酷い嫌味を言うようになってしまった。結果的にディランは醜態を見せ、それまでディランに傾倒していたレノンに決別を決意させてしまう結果になった。その映像はカットされたがビートルズの海賊盤のＣＤやビデオやＤＶＤに収録されている。 こうして最初の絶頂期を迎えていた[79]1966年7月29日に、ニューヨーク州ウッドストック近郊で[80]交通事故を起こす[81]。重傷が報じられ[82][注釈 32]、すべてのスケジュールをキャンセルして[83]隠遁。
バイク事故と隠遁