インディ役に関して、ルーカスは本作が成功すればシリーズ三部作にすることを構想していたこともあり、役と作品に対して全力を捧げることをいとわない、比較的無名の俳優を希望した[26]。ジェフ・ブリッジスなど多くの候補者が挙がる中、当初はルーカスの妻であるマーシア・ルーカスが好んだことを理由にトム・セレックがオファーされたが、セレックは当時出演していたテレビシリーズ『私立探偵マグナム』に関する契約上の問題からこの役を断ってしまう[26]。その後、スピルバーグはルーカスが監督した『スター・ウォーズ/帝国の逆襲』でハン・ソロ役として出演していたハリソン・フォードを見て「役にぴったりだ」と彼をインディ役に推薦[26]。ルーカスは「私が彼に依存しているように見える」と反対したが、撮影開始まであと3週間に迫ったことで折れ、フォードに出演を依頼。フォードは、スピルバーグの熱意から「組めば楽しい仕事になる」と感じたことでそのオファーを快諾した[26]。

ヒロインのマリオン役に、当初スピルバーグはデブラ・ウィンガーを望んだが、彼女は興味を示さなかったためこれを断った。また、スピルバーグは当時交際していたエイミー・アーヴィングにもマリオン役を打診している。スピルバーグは最終的に、オーディション中のプロ意識に感銘を受けたことでカレン・アレンを抜擢した[26]。

ベロック役は、インディと対照的な洗練された俳優が探され、スピルバーグを魅了した鋭い目を持つポール・フリーマンとなった[26]。サラー役はダニー・デヴィートにオファーされたが、スケジュールの問題と、彼のマネージャーが法外なギャラを望んだため参加できず、『将軍 SH?GUN』での好演によりジョン・リス＝デイヴィスが演じることになった[26]。なお、サラー役のオーディションにはケヴォルク・マリキャン（英語版）が参加したが、交通渋滞による遅刻が原因で不合格となり、彼は後に『最後の聖戦』でカジム役を演じた。

ゲシュタポのトート役は、最初にクラウス・キンスキーへオファーされた。だが「スピルバーグと仕事がしたい気持ちと同じくらい、脚本の稚拙さを感じた」との理由で同時期製作の映画『恐るべき訪問者 (別題: ヴェノム/イートン街の殺人)』への出演を選ぶ。そして、スピルバーグが「故ピーター・ローレを彷彿とさせる」と感じたロナルド・レイシーが起用された[28]。
撮影聖櫃のレプリカ（2016年）

1980年6月、約2,000万ドルの製作費で撮影が開始。契約によるタイトなスケジュールを維持するため様々な工夫が行われた[26]。

撮影前の絵コンテから第2班に任せる場面（トラックの追跡）を選定。撮影スタジオは、『スター・ウォーズ』のスタッフが揃っていたことや低コストで済むという理由からイギリスのエルストリー・スタジオのセットで行った。ロケ撮影は、主にフランスのラ・ロシェル、チュニジア、ハワイなどで行われた[26]。

セットやロケ地のミニチュアを作成し撮影方法や機材を検討するなど入念に準備し、4回以上テイクを重ねず1日平均40シーンも撮影するというハイペースを維持した。

作中に登場するドイツ潜水艦Uボートは、ドイツ映画『U・ボート』の撮影に使われたものを借用した[26]。また、基地も『U・ボート』と同じくフランスのラ・ロシェルに現存する実物でロケを行っている。

1981年9月に撮影は終了。予定通り73日間で終え、パラマウントと決めた撮影予定を12日節約した[26]。
エピソード

インディの名前は、当初スティーヴ・マックイーン主演の映画『ネバダ・スミス』に因んだ「インディアナ・スミス」になる予定だったが、スピルバーグの「平凡過ぎる[注釈 10]」という意見から「ジョーンズ」に変更。また「インディアナ」はルーカスの愛犬の名前でもあり、シリーズ第3作でこのエピソードが活用された。

費用削減のため、映画『失われた地平線』（1973年）と『ヒンデンブルグ』（1975年）から一部の場面を流用している。スピルバーグは、このことに関して後に「費用対効果が高かった。目の鋭い視聴者だけがこれに気付くだろう」と語っている[26]。

物語冒頭の遺跡の冒険は、漫画家のカール・バークスが描いたコミック『スクルージおじさん（英語版）』を基にしている。バークスはディズニー専属の漫画家として知られ、ドナルドダックのコミックを多く執筆。スクルージ・マクダックの生みの親でもあることから「グッド・ダック・アーティスト」として有名で、スピルバーグとルーカスは彼を尊敬していた[29]。

チュニジアでの野外ロケ中、撮影スタッフの大半が現地の食事のため食中毒（細菌性赤痢）を患う事態が発生した。アラブ人剣士役として参加したテリー・リチャーズ（英語版）は、インディとの決闘シーンのため数週間に渡り三日月刀を用いた訓練を行っていたが、撮影開始直後にフォードも赤痢による体調不良をおこしたため撮影がストップ。スケジュールも遅れる可能性が高くなった為、休憩中の相談で内容が変更され「登場直後に拳銃で射殺される」というユーモラスな役回りになってしまった。しかし、結果としてこの場面は「ハリウッド映画史の中でも印象的な場面」と評されるなど本作屈指の名シーンとなり[30]、後にリチャーズ演じる剣士はレゴブロックで商品化されるほどの知名度を得る事になった[31]。また、この場面は『魔宮の伝説』でもインディと二人組のインド人剣士との対決場面としてセルフパロディが行われ、本作で行う予定だった「三日月刀と鞭の対決」が実現する事となった[32]

転がる岩の効果音は、サウンドデザイナーのベン・バートが実際に岩を転がしても納得のいく音が録音されず、最終的に砂利の丘を下るホンダ・シビックのタイヤの音が採用されている。