1963年頃からアートスクールとの二足の草鞋でセッション・ギタリストとして活躍、数々のレコードに参加する。当初は「クルセイダーズ」などにも参加し、パーマネントなバンドでの活動を志望していたが、体調不良から断念することになる。セッションマン時代は、主に師匠格のビッグ・ジム・サリヴァンと行動を共にしており、ビッグ・ジムに対して「リトル・ジム」の愛称で親しまれていた。

ペイジは後にアートスクールを退学、プロのセッション・ギタリスト1本に志向するようになる。以下にセッションマン時代の主な活動を記す。

1964年、アビー・ロード第一スタジオでジョン・バリー指揮シャーリー・バッシーのヴォーカルによる、映画「007／ゴールドフィンガー」主題曲のレコーディングにアコースティック・ギターで参加。

ニコの1965年のシングル「I'm Not Sayin'」をプロデュース。

ザ・フーの数曲（「アイ・キャント・エクスプレイン」「ボールド・ヘッデッド・ウーマン」など）に参加。

1966年にデビューしたフランスのミッシェル・ポルナレフのレコードにも参加。

1969年に発表されたジョー・コッカーのデビュー盤『心の友』でのハイライト曲「ウィズ・ア・リトル・ヘルプ・マイ・フレンズ」は同年のウッドストック・フェスティバルでのパフォーマンスが有名だが、元のビートルズ作品を3拍子のゴスペル調にアレンジし直したのはペイジであり、イントロでの印象的なディストーションの効いたダブル・チョーキングも含めて、コッカーのデビュー盤ではペイジが10曲中5曲に参加している。

当時は演者側、セッションマン側、プロデューサー側それぞれに守秘義務があり、ペイジ自身も自分のどのプレイがどこで使用されているのか知らされないことも多かったと発言している。また、プロデューサー側も保険をかける意味でセッションマンを雇うときもあり、演奏したものが一切使用されなかったことも度々あったという。

ソロ・デビューは1965年。フォンタナ・レコードからシングル「シー・ジャスト・サティスファイズ/キープ・ムーヴィン」をリリース。また、この前後、エリック・クラプトンとのツインギターによる非公式セッションの様子を録音したブルースナンバーもリリースし、クラプトンの顰蹙を買っている。この件に関してペイジは、レコード会社が勝手にやったと主張している。
ヤードバーズ

クラプトン脱退後のヤードバーズへの参加を要請されるもののこれを辞退し、以前からの知り合いであるジェフ・ベックを推薦する。ところが、その後、ベースのポール・サミュエル・スミスが脱退したため、1966年6月にヤードバーズにベーシストとして加入。その後ベックが扁桃腺炎で療養に入ったため、ベックの代役でギターパートへ転向。ベック快気後は彼とのツインリード・ギターのスタイルがバンドの売りとなった。その後「トレイン・ケプト・ア・ローリン（ストロール・オン）」、「幻の10年」、「アイム・コンフューズド（後の『幻惑されて（原題Dazed and confused）』）」などの曲を残すが、後にジェフ・ベックが脱退、更にメンバーの音楽性の違いによる不仲からヤードバーズ自身も1968年に空中分解、解散状態となる。ペイジのヤードバーズ加入の直接の動機はとにかくスタジオから抜け出て、（セッションではない）ライブ演奏をしたかったからだという。
レッド・ツェッペリン結成

バンドの継続に意欲があり、また契約も残っていたペイジは、新メンバーを集めようと試みた。

当初ボーカリストには、スティーヴ・ウィンウッド、もしくはスティーヴ・マリオットを加入させようとしたのだが、共に既に他のマネジメントとの契約で上手く行かず（ただ、この2人のスカウトはこのレッド・ツェッペリンにではなく、それより以前に「キース・ムーン或いはジョン・エントウィッスル考案のレッド・ツェッペリン」に対してなされたものであると言う指摘もある）、次にテリー・リードを起用しようとしたものの加入は叶わず、リードの推薦で元バンド・オブ・ジョイのロバート・プラントをボーカリストに決定。ドラマーはプラントの強い勧めによりジョン・ボーナムが加入した。ベーシストにはセッション・ミュージシャンとして親交があり、技量も折り紙つきであったジョン・ポール・ジョーンズが決まった。レッド・ツェッペリンが誕生し、1969年にファースト・アルバムを発表した。70年代には「ホール・ロッタ・ラヴ」「ブラック・ドッグ」「ロックンロール」「デイジャ・メイク・ハー」「トランプルド・アンダーフット」などの代表曲があった。

グループ名の由来や、その他のツェッペリンの活動については、レッド・ツェッペリンの項参照。

1971、72年に来日公演を果たしており、71年の広島公演に際してメンバーは平和記念資料館を訪れ、ペイジは「二度と戦争は起こしてはいけない」と涙ながらに語っている。同公演（9月27日）は100%慈善公演で、メンバー4人は広島市役所を訪問し、当時の山田節男市長に被爆者援護資金として当時の金額で約700万円寄贈の目録を手渡している。 ⇒[1]席上ペイジは「原爆を落としたのは誰が悪いというのではなく、我々人間の仲間が起こしたことです。同じ人間としてその事実は申し訳ないと思います。そこで少しでも苦しんでいる人達のために自分達が力になれたらと思いました。」とのコメントを発し、同市長からはツェッペリンのメンバー達に感謝状と、記念として名誉市民章のメダルが授与された。

ただしその公演後、大阪の宿泊先で酔ったメンバーは、日本刀を振り回して掛け軸を斬るなど、数百万単位の損害を与えた。

レッド・ツェッペリンは1980年、ジョン・ボーナムの死去により活動を停止した。
レッド・ツェッペリン解散以降『A.R.M.S.』ロンドン公演 (1983年)

ツェッペリン後のペイジのソロ活動は、映画『ロサンゼルス』(Death Wish II)のサウンドトラックから始まる。

スモール・フェイセスのベーシストであったロニー・レインの呼びかけに応じる形で、1983年9月より数回行われたA.R.M.S.（チャリティー）コンサートにおいて、レッド・ツェッペリン解散後、はじめてソロでステージに登場することとなった。同コンサートにはペイジと並んでエリック・クラプトンやジェフ・ベックも参加した。 公式映像に収められたロンドン公演におけるペイジのステージは、前述のペイジのサウンドトラックからの数曲でスティーヴ・ウィンウッドをボーカリストとして起用し、更に「天国への階段」のインストゥルメンタル・ヴァージョンを演奏。その後、A.R.M.S.のアメリカ公演ではウィンウッドの代わりにポール・ロジャース（元フリー?バッド・カンパニー）が参加し[5]、ロジャースのソロ・アルバム『カット・ルース』からの曲や、ロジャースと共作したオリジナル曲「ミッドナイト・ムーンライト」も追加された[6]。これがそのままザ・ファームの結成へとつながる伏線となる。

1984年には、元レッド・ツェッペリンのメンバーであった、ロバート・プラントや、ジェフ・ベックらとハニー・ドリッパーズ名義でミニ・アルバムをリリース。その後この二名は、後述のとおり度々共演することとなる。

1985年にはロイ・ハーパーのアルバムに参加し、ツアーにも同行する。また同年「両者のソロアルバムを除く、『レッド・ツェッペリン』と、『フリー』『バッド・カンパニー』などの過去のキャリアの楽曲は演奏しない」という暗黙の了解の下、ザ・ファームを結成し2枚のアルバムとライブツアーを行って解散（アルバムが2枚発売されたのは、「ヒット曲が出るなど、評判がよかったから」とするペイジ側の発言、「当初から2枚ほどアルバムをリリースし、その後ライブも行う予定であった」とするロジャース側の発言とが食い違っている）。

1985年のライヴエイドでは、ツェッペリン解散後初めてロバート・プラント、ジョン・ポール・ジョーンズの3人が合流し、「レッド・ツェッペリン」名義で20分ほどのステージ・パフォーマンスを行う。曲目は「ロックン・ロール」「胸いっぱいの愛を」「天国への階段」であったが、当時の日本でのテレビ生中継では「胸いっぱいの愛を」だけが放送されなかった。しかし非難の電話が殺到したため翌日全曲放送された（ドラマーは、シック、パワー・ステーションのトニー・トンプソンと、当時プラントのソロアルバムでプロデュースや一部ドラムを担当したフィル・コリンズの2名であった）。レッド・ツェッペリン再結成ライブ (2007年)ロンドン『Mojo Awards 2008』にてロバート・プラントと共演 (2012年)