フィリップ・トルシエ元日本代表監督の後任として、2002年に日本代表監督に就任した。日本代表監督最高額の年俸だった。
2002年
10月16日、ジャマイカに臨み、これが初試合となった。中田英寿・中村俊輔・小野伸二・稲本潤一の4人を初めて同時に起用し（黄金のカルテット）話題を呼んだが、結果は1-1の引き分け。
2003年
4月16日、ソウルワールドカップ競技場での韓国戦で初勝利を挙げる。 後半終了間際に韓国ＤＦがクリアしたボールがＦＷ永井雄一郎 の足にあたり、直接ゴールしたものであった。
6月8日、キリンカップ2003でのアルゼンチン戦で1-4で完敗。これを機にディフェンスライン4人を全員入れ替えた。
6月18日からのFIFAコンフェデレーションズカップ2003の予選グループ、1勝2敗の成績に終わり決勝トーナメント進出を逃した。
8月20日のナイジェリア戦でホームゲーム初勝利。
2004年
2月7日、ジーコの慣れ親しんだ鹿島にて、親善試合マレーシア戦を行う。このドイツW杯予選を控えた日本代表の鹿島合宿中に市内のキャバレークラブに久保竜彦、奥大介、小笠原満男、山田卓也、都築龍太、茂庭照幸、大久保嘉人、山田暢久（山田は、入店せず）が無断外出し問題起こしてしまったことがスキャンダルとして取り上げられてしまい「信頼関係を失った」と言い代表チームへの一時招集を見送られることになった。
2月18日、ドイツW杯アジア1次予選初戦、オマーンと戦い、これを1−0で勝利。続くシンガポール戦も藤田俊哉の決勝点で勝利した。この内容を「苦戦」であるとした一部のサポーターが解任デモを行った。デモの参加者は当事者が想定した人数を大幅に下回るが、ドイツW杯組織委員でも彼等の主張は取り上げらる等一定の反響を得た。しかしながら、その殆どが、W杯組織委員長のベッケンバウアーの「勝っているのにそういうことをするのは日本人がサッカーを知らないからだ」というコメントや、当時ブラジルの監督を勤めていたパレイラの「W杯予選では勝ち点を取る為の戦い方が必要なのをジーコは分かっている」と同様の見解を述べる等、世界的な有識者からの顰蹙の声であった。更に後の欧州遠征の結果を受け、デモ行進の当事者達が当初から計画していた二回目以降のデモは延期という名目のもとに消滅した。
4月に行われた欧州遠征で欧州の代表チームと相次いで親善試合を行った。初戦のハンガリー戦で敗れたものの、強豪チェコを1-0と破った。6月の欧州遠征ではイングランドと戦い小野伸二の同点ゴールで1-1のドローに持ち込んだ。
7月、中国で行われたアジアカップ2004で優勝。大会2連覇を達成した。
9月、インド コルカタでW杯大会アジア１次予選第4戦でインドに4-0で勝利、ハーフタイム中にスタジアムの照明が停電するトラブルがあった。 この時、ベンチにいたジーコは、多数の現地記者・カメラマンからサイン攻めに合う光景をテレビカメラがとらえ、インドでも、現役時代の名声が轟いていることを証明した。
10月、W杯大会アジア1次予選第5戦でオマーンに1-0で勝利、1次予選の突破を全試合勝利で決める。
2005年
W杯ドイツ大会最終予選において、テヘランでイランに敗れた試合以外は全勝。1次予選との通算成績で11勝1敗で終え、B組1位通過を果たした。この結果により、世界最速で予選を突破し本大会への出場権（開催国のドイツは除く）を獲得することになった。
2005年FIFAコンフェデレーションズカップでは1勝1敗1分。メキシコには1-2で敗れたが、ギリシャに1-0で勝利、ブラジル戦でも2-2の引き分け。グループリーグ敗退に終わったものの、試合内容に対しては一部の現地メディアでも高い評価を得た。
7月から8月にかけての東アジアサッカー選手権2005では北朝鮮に0-1で敗戦。続く中国戦ではGKを含むスタメンを総入れ替えし若手選手を起用する采配をしたが、2-2の引き分けに終わる。韓国に1-0で勝して、2位という結果で終えた。
2006年
親善試合を消化。W杯メンバー発表までの7試合は3勝2敗2分。
5月15日、ドイツW杯23人のメンバーを発表。
ジーコジャパンにおいて一番多く得点を決め（11得点）、本大会のエースとして期待された久保竜彦と、フランスリーグ・アンでアシストランク3位だった松井大輔をメンバーから外し、ドイツブンデスリーグで1得点の高原、日本Jリーグで1得点の玉田を招集したことに物議をかもした。