さらには、リッベントロップが外務次官の地位を要求していたにもかかわらず、外務省側ではこれを拒否するなど両者には強い敵対関係があった[12]。このため11月26日の調印式にいたるまで、ドイツ外務省はこの協定交渉を一切関知しようとしなかった[13]。また、ドイツ国防軍は伝統的に親中国路線であり、政府の方針とは独自の中華民国支援路線をとっていた。さらに中華民国は孔祥熙をドイツに派遣しヒトラーと会談するなど、ドイツは日本と中華民国との間で大きく揺れていた。

この複数の関係機関が独自に活動している状態は、ヒトラー政権下における外交の多頭制と、複数路線制を示すものであると指摘されている[7]。実際にリッベントロップは「リッベントロップ事務所」を設立し、外務省から独立して対日交渉に臨んだ。
日独間の締結交渉大島浩駐独武官
第一次交渉

リッベントロップは兵器ブローカーフリードリヒ・ハックを通じて日本との接触を図った。ハックは日本海軍と取引があり、1935年（昭和10年）1月には英・ロンドンで山本五十六軍縮会議全権とリッベントロップの会談を実現させた。リッベントロップはヒトラーと山本の面会を求め、日独接近の交渉を行った。しかし海軍の独自の動きを警戒する松平恒雄駐英大使と、武者小路公共駐独大使によってこの動きは阻止された[14]。この動きは国防軍情報部長のヴィルヘルム・カナリス中将に察知されたが、彼は「対ソ同盟」を主張しており、国防軍の大勢と異なり、リッベントロップらと協力する動きを開始した[15]。

9月13日、ハックは駐独日本大使館付陸軍武官大島浩少将に接触し、日本陸軍参謀本部の意向を確認した。大島も外務省を通じず、陸軍とリッベントロップの間で交渉を行うように要請している。11月半ばまでの間ハックと大島の間で予備交渉が行われ、大島はソ連を対象とした軍事色の強い保証協定を提案している[16]。ハックはこの提案をカナリスに伝え、カナリスは国防相ヴェルナー・フォン・ブロンベルクにこの提案を提示することにした[17]。ブロンベルクはこの提案に前向きに応じ、リッベントロップと大島の会談を促した[17]。しかしブロンベルクはこの時点で、対日接近が対中関係に及ぼす影響をまったく考慮しておらず、国防軍総局長ヴァルター・フォン・ライヒェナウをはじめとする対中接近派の意見に従うようになり[17]、具体的な軍事協定の締結には強く反対することになる[18]。カナリスは国防軍内における対日接近派の勢力拡大と、対中接近派の抑制に努めることになる[19]。

大島からの報告を受けた日本陸軍参謀本部は、参謀総長閑院宮載仁親王が「ベルリンでの作業計画」を裁可し、交渉のために参謀本部欧州課独逸班長若松只一の訪独を承認した[18]。しかし日本参謀本部の動きを察知した駐日大使館付武官オイゲン・オット大佐はこの動きを国防軍上層部に通報した。カナリスはこの動きに動揺し、オットに対し駐日ドイツ大使ヘルベルト・フォン・ディルクセン（ドイツ語版）への報告を禁じた[18]。

日本の参謀本部は提携には積極的であったが、軍事同盟には消極的であった。しかし日ソ戦の際にドイツが「好意的中立」を保ってくれることを希望していた。リッベントロップ事務所のヘルマン・フォン・ラウマーはソ連を刺激することを恐れ、協定内容を対ソ連ではなく「コミンテルンによる国際共産主義運動が自国に波及する事を防ぐ」という婉曲的な内容にしようと提案した。当時、ソ連政府はコミンテルンの活動はソ連政府と無関係であるという立場を取っており、これを逆用したものであった[13]。大島も反コミンテルン協定であるという「マント」を着せることに同意した[20]。

11月15日にはリッベントロップ邸において、リッベントロップ、カナリス、ハック、ラウマー、大島、若松が会談を行った。この席でリッベントロップは「一般的な友好協定」に「軍事上の付属紳士協定」が加えられたものを提案し、成立した協定はイギリスに通知されるべきことと、ポーランドの参加が考えられるとした[21]。

この時期になるとリッベントロップらの動きは外務省にも察知され、リッベントロップは「様々な部局、とりわけ外務省からの抵抗」に悩まされるようになった[21]。しかし11月27日にリッベントロップと面会したヒトラーは、「対コミンテルン条項は公表してもよい」「調印はベルリンで行う」という「決断」を示した[22]。11月30日にはラウマーによって協定案が完成した。「コミンテルンの危険に対する防御協力」をうたった本文と、締結国がソ連の紛争に巻き込まれた場合には一方の締結国はソ連を援助しないことを定め、ソ連との条約締結を禁止した付属協定、そして両国軍の間で締結される軍事協定から構成されていた。

しかしこの協定案提示から7ヶ月間、協定交渉は一時停滞することになる。
停滞期の交渉

この時期、イタリアのエチオピア侵攻（第二次エチオピア戦争）が勃発し、イギリスによる調停が試みられたことは、イギリス・イタリア・フランスによるストレーザ戦線が再来するのではないかという懸念がドイツ側に存在し、外交政策の再検討を行う事態となった[23]。外務省はこの機会を巻き返しの時期ととらえ、リッベントロップらの動きに抵抗した[24]。また国防軍による中華民国との交渉も大きく進展し、汪兆銘らはドイツを仲介者とした日中和平を希望するようになった[25]。ヒトラーはこの仲介に「外見上、原則的な賛意」を与え、リッベントロップも大島に、日独協定に中華民国を加えることはできないかと打診している[26]。一方で国防軍の過度な対中接近には外務省も否定的であり、ベルンハルト・ヴィルヘルム・フォン・ビューロー（ドイツ語版）外務次官は国防軍やライヒェナウの姿勢を非難している[27]。

1936年（昭和11年）1月、日本外務省欧亜局長東郷茂徳は陸軍から説明を受けて初めて協定締結交渉を察知した。東郷は協定に反対であった。また同月には日独合作映画『新しき土』の制作のためと称してハックが来日、日本の関係者と交渉を行った[28]。

2月に二・二六事件が勃発して陸軍の発言力が増大したため、日本外務省も交渉締結の路線から外れることは出来なかった。その後広田弘毅が首相となり、5月8日に外相有田八郎は駐独大使武者小路公共に「両国間に事項を限定しない漠然たる約束」をする趣旨の指令を行った。しかし参謀本部は大島少将に「日ソ戦が勃発した際に中立を守る」規定を盛り込むように指令した。

4月6日にはライヒェナウらの主導で、中華民国に一億ライヒスマルク借款を行うことを始めとする援助協定が成立した。これは対独接近を考えていた日本側にも大きな衝撃を与えた。