特にナチスドイツのヒトラー政権下による1936年ベルリンオリンピックは、オリンピックの持つ大きな影響力が、ヒトラーによって巧妙に利用されてしまい、ドイツ国民の心理操作の道具のひとつとして使われてしまった。ヒトラーが雇った監督によって大会中にフィルム撮影が行われたが、その後編集され出来上がった映画作品『オリンピア』は、オリンピックを本来の平和の祭典として扱うのではなく、ヒトラー好みの意味内容になるように勝手に「民族の祭典」という意味に見えるように編集してしまっており、ドイツ人の民族主義的感情を高揚させ戦争へと駆り立てるための道具のひとつとして映画館で繰り返し上映されたのであり、オリンピックが平和目的ではなく、真反対の、戦争目的で使われてしまった。また皮肉なことに、聖火リレーのルートも、後日ドイツ国防軍がそのまま逆進したとされる。

またオリンピックの間は戦争を止めるというオリンピック休戦の意義が人々に理解されず、1972年にはオリンピックの場そのものが、ミュンヘン大会におけるテロ事件の事件現場になってしまった。1996年のアトランタ大会でもオリンピック公園を標的としたテロが発生した。

冷戦期におけるモスクワ大会、ロサンゼルス大会の西側諸国・東側諸国による大規模ボイコット合戦[注 11]、冷戦下、1970年代後半から1980年代にかけてのアフガニスタン紛争が起きていた時期には、東西の「ボイコット合戦」という、形を変えてはいるが、東西陣営の醜い争い事がオリンピックの場で起きてしまった。

また国際オリンピック委員会は世界平和の実現と、人権の尊重、差別の撲滅などを推進する「オリンピックムーヴメント」を推進することをかかげているが、オリンピックムーヴメントの理念にそぐわない国が開催することに異議を唱える運動もしばしば起こり、2008年の北京大会では大会に反対するデモが相次いだ。また2014年ソチ冬季大会ではロシアの「ゲイ・プロパガンダ禁止法」（en）に抗議してアメリカ、ドイツ、フランスなど欧米諸国の首脳が開会式を欠席した[40]。このような政治問題を抱えてしまっているオリンピックは「平和の祭典」とは言えないとも指摘されている。[41]
国威発揚のための悪用

最初にオリンピックを政治的に利用し、国威の発揚、民族主義の高揚、戦争開始のためなどに悪用したのは1936年ベルリンオリンピックの際のアドルフ・ヒトラーであるが、戦後にオリンピックが世界的なイベントとして認知されると、国威発揚のために政治的に利用する国が多くなった。

オリンピック憲章ではオリンピックの政治的利用は禁止とされている[22]が、金メダルをとった選手の表彰式の際、国歌が流れ、国旗が掲揚されてしまっている。オリンピックの場でこの儀式が行われてしまっていることに対して疑問を呈する人々はいる。1936年のベルリン大会のマラソン競技で日本統治時代の朝鮮から「日本代表」として出場し優勝した孫基禎も、強く疑問に思った[42]。

共産主義時代のソ連や東欧諸国では国威発揚の為国家の元でオリンピック選手を育成し（いわゆる「ステート・アマ」）、メダルを量産してきた。共産主義が崩壊した今でもその傾向は続いており、2016年のリオデジャネイロ大会の前にはロシアが国家主導で過去の大会においてドーピング行為を行ったことが判明した（ドーピング問題については後述）。政治利用を防ぐため1968年メキシコ五輪時のIOC総会で表彰式での国旗・国歌を廃止する案が提出されたが、（国威発揚のための利用しつづけている）共産圏の反対により否決された[43]。

冷戦後でも同様で、中露ではもちろんのこと、アメリカ合衆国でも2002年の冬季ソルトレークシティ大会の開会式の際は前年の米国同時多発テロで崩壊したニューヨーク世界貿易センタービルの跡地から発見された星条旗が入場させている。
過熱化する招致合戦と賄賂問題

1988年大会は有利と言われていた名古屋を抑えてソウルが開催地に選ばれたが、その裏ではソウル関係者のIOC委員への過剰な接待がなされていたとされる[42]。1998年には、ソルトレークシティ大会の組織委員会が、カメルーンのIOC委員の子どもの奨学金を肩代わりしていた贈賄事件が発覚。翌1999年には、オーストラリア大会の招致責任者がウガンダとケニアのIOC委員に金銭を支払っていたことも発覚した。これを受け、複数のIOC委員が除名された。2017年には、ブラジルオリンピック委員会のカルロス・ヌズマン会長が、リオデジャネイロ大会招致にあたりIOC委員に金銭を支払っていたとして逮捕され、ブラジル検察によって起訴されている。またブラジル検察は、東京大会招致委員会からIOC関係者への送金についても明らかにし、買収目的だったと指摘している。ただし、開催費の高騰から、近年は立候補都市が減少している。
莫大な開催費

1976年のモントリオール大会では大幅な赤字を出し、モントリオールは2006年までの30年間にわたり特別税を徴収し、債務の返済を行った[44]。