ヘミングウェイは1940年に『誰がために鐘は鳴る』を出版して以来、1950年9月に『河を渡って木立の中へ（英語版）』を出版するまで、10年間にわたって沈黙していた。実はこの間、『エデンの園』や『海流のなかの島々』を断続的に執筆しており、これらはヘミングウェイの死後に出版された[12]。『老人と海』の前作となった『河を渡って木立の中へ』の執筆は1949年4月で、妻メアリーを伴ってイタリア旅行中、アドリアーナ・イヴァンチッチ（英語版）という18歳の貴族の娘と出会ったことが直接のきっかけとなった[注釈 3]。ヘミングウェイはこの作品に手応えを感じており、売れ行きもよく、『ニューヨーク・タイムズ』のベストセラー・リストに21週間掲載されたほどだった[14]。しかし、作品への批評は厳しいものが多く、駄作で魅力に欠け、スタイルも構成も弛緩していてヘミングウェイはもう駄目になった、と今後の作家活動を疑問視するものまであった。このような酷評に、ヘミングウェイは深い気鬱に陥った[14][15]。
着手『老人と海』が書かれたキューバのヘミングウェイの家フィンカ・ビヒア（英語版）[注釈 4]

『河を渡って木立の中へ』出版から2ヶ月後の1950年10月末、アドリアーナが母親とともにキューバのヘミングウェイを訪問した。彼女らは翌年2月初旬まで滞在し、ヘミングウェイは彼女らを持ち船「ピラール号」に乗せてカリブ海周辺の島々を案内した。アドリアーナはキューバでの滞在について、次のように回想している。私は活気に溢れ、熱意がみなぎっていたので、それを彼に注ぎ込んだのだ。彼は再び書き始めたが、思いもよらず何もかもうまくいくように思えた。彼は書き終えると、別の著作に―私に言わせれば―遥かに優れた著作に取りかかった。彼は、いまや再び、しかも上手に書くことができた。それで彼は私に感謝した[17]。

この回想に基づけば、ヘミングウェイはこの年のクリスマス・イヴに『海流のなかの島々』を書き上げ、さらに年内か遅くとも翌1951年1月早々には『老人と海』に着手したことになる。『海流のなかの島々』を編集したカーロス・ベイカーによれば、『老人と海』は『海流のなかの島々』とともに「海」の四部作として構想の一つに入っていたものが切り離されたものである[17]。ヘミングウェイは従軍記者をしていたころに、第二次世界大戦に関する「陸・海・空」の物語を構想しており、『老人と海』はそのうちの「海」の第4部に相当していた[18][19][12]。

ヘミングウェイが『老人と海』の草稿を書き終えたのは、1951年2月中旬だった。執筆期間はおよそ2ヶ月足らずと見られる[20][21]。妻メアリーは、人目もはばからずアドリアーナに恋情を寄せるヘミングウェイに愛想を尽かし、別居後の自分の仕事の準備までしていたが、『老人と海』の草稿を読み、「これならば、あなたがわたしにさんざん加えたひどい仕打ちを、もう全部許してもいい」と告げた[21]。同月下旬には版元スクリブナーズ社のチャールズ・スクリブナー（英語版）がハバナを訪れ、草稿を読んで絶賛した[20]。