スコットランドのエディンバラでアイルランド系の家庭に職工、トラック運転手の父ジョセフと洗濯女の母、ユーフェミアのとの間に生まれた[2][3]。コネリーの先祖の地はアイルランド東部ウェックスフォード県[4]。

義務教育修了後、最初に得た仕事は牛乳配達であった[5][6]。その後、イギリス海軍に従軍するも健康上の理由で除隊し、トラック運転手、労働者、美術モデル[7][8]やライフガードなど種々の仕事をしながらボディビルジムに通う。またこの頃、ボニーリッグ・ローズ・アスレチックFCというセミプロのサッカー選手としてプレーもしていて[9]、右ウイングを務めていたが、マット・バスビー監督の目に留まり、マンチェスター・U入りのオファーを受けたがこれを断った[10]。1953年にはミスター・ユニバース・コンテストの重量上げ部門で3位入賞したが、その時に出場者の一人に演技の道に進むように勧められる。1954年からテレビや劇団に出演するようになる。

コネリーはスコットランド人としての矜持が強く、その独特のアクセントを矯正したことは一度もない。そのため、デビュー間もない頃は別人に声を吹き替えるという屈辱的な扱いを受けることもあった。（例:『史上最大の作戦』等）ジェームズ・ボンド役を引き受ける際もアクセントを矯正しないことを絶対条件とした。このため、ボンドは原作に於いてスコットランド出身という設定が付け加えられた。ボンド以外の役柄もスコットランド出身という設定に変更したものが多い（『風とライオン』等）。『007 ダイヤモンドは永遠に』の撮影シーン（1971年）

1961年、コネリーは20世紀フォックスの契約俳優でありながら、イーオン・プロダクションズとジェームズ・ボンド役として5本のボンド映画に出演する異例の契約を交わし、翌1962年の『007 ドクター・ノオ』で知名度は世界的に上昇した。『007 ロシアより愛をこめて』『007 ゴールドフィンガー』『007 サンダーボール作戦』『007は二度死ぬ』など5作出演の契約を履行した。『ロシアより愛をこめて』は特に評価が高かった[11]。

『007は二度死ぬ』（1967年）のロケで訪日した際、記者会見でボンド役からの引退を表明して国内外で驚かれた[12]。その後、コネリーが希望する映画2作の製作費を負担するという条件をユナイテッド・アーティスツが受け入れたことで[13]、1971年の『007 ダイヤモンドは永遠に』でボンド役に復帰した。コネリーが007シリーズ再出演の条件とした2本のうち、実現したシドニー・ルメット監督『怒りの刑事』（1972年）では感情の起伏が激しい刑事を演じた。