1924年4月にフランクフルト・アム・マインで開催されたドイツ共産党大会に参加した際、ソ連から派遣されたコミンテルン幹部であるオシップ・ピアトニツキー、ドミトリー・マヌイリスキー、ソロモン・ロゾフスキー、オットー・クーシネン[注釈 3] の警護と接待を担当した[9][10]。彼らは親しくなったゾルゲにコミンテルンでの勤務を勧誘した[9][10]。ゾルゲは同年末にモスクワに移り、1925年からコミンテルンに所属した[7][9]。コミンテルン勤務とともに、ピアトニツキーによりゾルゲの党籍はソビエト連邦共産党に変更された[9]。

コミンテルンでは各国の党から送られてくる情報などを基にした報告・分析活動が中心であった[7][9]。ヨーロッパの現地視察をおこなったほか、作成した報告を書籍として刊行もしている[7][9]。

1929年5月、ゾルゲはコミンテルンを離れ、軍事諜報部門である労農赤軍参謀本部第4局に所属を変更した[11][12]。この所属変更の理由として、ゾルゲ自身は日本の検察の訊問調書において、コミンテルンでは諜報活動ができないこと、世界革命の見通しが裏切られたこと、ソ連における一国社会主義路線への転換を挙げている[11]。ヨシフ・スターリンの政権掌握後、コミンテルンはセクト主義に傾斜し、それに反対する人員は組織を追われたが、ゾルゲもその一人だったという指摘がある[12]。
上海でスパイ活動開始尾崎秀実「獲得工作」、「ゾルゲ諜報団#上海における諜報活動」、「尾崎秀実#上海へ」、「川合貞吉#経歴・人物」、および「ヌーラン事件」も参照

赤軍に移ったゾルゲは、上司のヤン・ベルジンとの話し合いにより、中華民国の上海に赴くことになる[13][14]。その使命は、?介石政権に派遣されていたドイツの軍事顧問団の情報収集のほか、中華民国の内政外交や中華民国に対する日本・イギリス・アメリカ合衆国の外交政策など調査対象は多岐にわたっていた[14][15]。1929年末にモスクワを発ち、1930年より1932年まで上海で諜報活動をしながら自分に協力するグループを築いた[14]。

なおこの頃「ラムゼイ」というコードネームを与えられている[注釈 4]。

半年程度で現地の指導的立場となり、中華民国全土に情報網を持つに至った。活動は漢口、南京、広東、北京、そして1932年に満州国として独立することとなる満州地方などを中心にして行われている。ゾルゲ自身も各地を巡り、中華民国および日本の政治、歴史、文化に関する書物を読み、両国の言葉も学習し、アジア問題に通じるようになった。上海におけるゾルゲ諜報団の日本人は、尾崎秀実、鬼頭銀一、川合貞吉、水野成、山上正義、船越寿雄であった[17]。

上海では、仕事を通じて当時中国共産党の毛沢東に同行取材するなど活躍していたアメリカ人左翼ジャーナリストのアグネス・スメドレーと知り合う。スメドレーはゾルゲが中華民国を去るまで彼のスパイ組織の一人として活動した。朝日新聞記者だった尾崎秀実とは、アメリカ共産党から派遣された鬼頭銀一から紹介を受けて知り合った[14][注釈 5]。水野成をゾルゲに紹介したのも、尾崎ではなく鬼頭である[17]。ゾルゲは、ドイツの軍事顧問団長のハンス・フォン・ゼークトや?介石から軍事情報を入手し、蒋介石軍の飛行機を爆破し、武器を略取するなど、中国共産党を支援した[17]。また、オットー・ブラウンやゲアハルト・アイスラー（ドイツ語版）ら、コミンテルンから中国共産党に派遣されたドイツ人顧問とも接点を持った[18]。のちに核兵器情報をソ連にもたらしたことで知られる、ウルスラ・クチンスキーはゾルゲの助手かつ愛人であった[要出典]。

ゾルゲは1932年1月には日中両軍が衝突した第一次上海事変を報道した。同年12月にモスクワに戻る。

上海共同租界の工部局イギリス警察は1932年1月頃から、ゾルゲをソ連のスパイではないかと疑い始め、その後捜査を進めた結果、1933年5月にゾルゲをソ連のスパイとほぼ断定した[17]。