1980年に行われたモスクワオリンピックに、その前年に行われた「ソ連のアフガニスタン侵攻に抗議する」という理由で、アメリカが西側諸国とイスラム諸国にボイコットを呼びかけた結果、日本、西ドイツ、大韓民国、サウジアラビア、トルコ、エジプト、インドネシアなどの国々が参加しなかった。その報復として東側諸国は本大会をボイコットした（表向きの理由は1983年のアメリカ軍によるグレナダ侵攻に対する抗議）。

なお、ロサンゼルス大会の不参加国はソビエト連邦、東ドイツ、ポーランド、チェコスロバキア、ハンガリー、ブルガリア、ベトナム、モンゴル、北朝鮮、キューバ、エチオピア、アフガニスタン、アンゴラ、イラン[注釈 2] などであった。不参加国は本大会に対抗する形でフレンドシップ・ゲームズを開催した[注釈 3]。

一方、社会主義陣営の国のうちソ連と距離を置いていたユーゴスラビアとニコラエ・チャウシェスク政権のルーマニアはモスクワオリンピックとロサンゼルスオリンピックの双方に参加してロサンゼルスオリンピックではルーマニアは開催国である米国に次ぐ数の金メダルを獲得し、中華人民共和国は中ソ対立でアメリカと接近したため、モスクワオリンピックは不参加、ロサンゼルスオリンピックは参加して金メダルはルーマニアと西ドイツに次ぐ数を獲得した。
聖火ランナー

大会委員長のピーター・ユベロスは一般市民の聖火ランナーからも、参加費用を徴収しようと計画。一緒にオリンピックを作る一員として、聖火ランナーに参加してくれる人なら、資金的な協力もしてくれる、というのがユベロスの考えだったのだが、聖火を運ぶのは、もともとギリシャ委員会の管轄で、ギリシャ委員会は「聖火を商品化するとは五輪を冒涜する行為」と待ったを掛けてきた。

しかし結局、ユベロスがギリシャ委員会を説得して有料聖火ランナーは実施された。この時には1936年のベルリンオリンピックで、日本代表でマラソン競技に優勝した孫基禎も聖火ランナーの一員として走っている。
大会マスコット

イーグルサムは鷲をモチーフにしたマスコットで、これを主人公にしたテレビアニメも製作、放映された。
エンブレム

オリンピックエンブレムの星にある13本の横線は、米国独立時の13州を表しているという。赤・白・青は、アメリカの国旗の色を表しているという[1]。デザイナーはロバート・マイルズ・ラニアン。
ハイライト

ソ連・東欧圏の選手が出場しなかった結果、射撃の蒲池猛夫（日本）、体操女子個人総合のレットン（アメリカ）など、幾つかの競技で、それまでメダルに縁の無かった国に金メダルをもたらした。