この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方）
出典検索?: "超並列マシン" ? ニュース ・ 書籍 ・ スカラー ・ CiNii ・ J-STAGE ・ NDL ・ dlib.jp ・ ジャパンサーチ ・ TWL（2017年7月）

超並列マシン (ちょうへいれつマシン、Massively parallel machine) は1990年代から台頭してきた、並列計算機の中で規模の大きなもの（CPU数の多いもの）を言う。大規模クラスターマシン、大規模ワークステーションクラスター、地球シミュレーターなども超並列マシンの範疇に入れることができる。時代と共に並列度は大きくなり、CPU性能は向上するため、何個以上のCPU数（或いは性能）で超並列であるというはっきりとした定義はない。

超並列マシンは分散メモリ型のコンピュータシステムであり、多数のノードから構成され、各ノードは基本的に独立したコンピュータとなっている。本来の超並列マシンはnCUBEやコネクションマシンなどのように、ほとんどのノードがCPUとメモリとノード間接続用の通信ポートのみで構成されるものであった。ノード間通信にはMPIのような標準的なプロトコルを使用してメッセージをやり取りする。2005年現在のスーパーコンピュータはほとんどが超並列マシンである。超並列マシンの性能は、実行しようとするアプリケーションの並列性と、スレッド間の通信量に左右される。アプリケーションの並列性が高ければ多くのノードに展開して並列実行できるため、性能向上が期待できる。しかし、共有メモリ型と異なり、あるスレッドの実行結果をメモリに置くだけでは他のスレッドからは見えないため、通信が必要となる。したがって、計算途中に他のスレッドの結果を待ち合わせなければならないようなアプリケーションではノード数に比例した性能向上は期待できない。超並列マシンでの計算性能の向上は研究の活発な領域である。
コンシューマー市場での超並列

超並列処理技術は、ハイパフォーマンスコンピューティング以外の用途でも使われている。その最も普及した例が、Graphics Processing Unit (GPU) である。@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}最新[いつ?]世代のGPUは、少なくとも100個以上、ハイエンドモデルでは1000個以上のストリームプロセッサエレメント（シェーダーユニット）を持ち、8?32個の集合を一つの命令デコーダに接続し、一つの命令で8?32個のデータを同時処理できる。このプロセッサエレメントのクラスターは巨大なクロスバースイッチデータバスや、リングバスに接続される。プログラミング言語にはOpenGL/Direct3D用のプログラマブルシェーダー記述言語のほか、GPGPU向けに開発されたCUDAやOpenCLといった汎用言語およびAPIセットが使用され、SIMDやVLIW技術を駆使した内部命令セットへ変換される。単体で10TFLOPSもの理論演算性能を持つ製品もある。近年[いつ?]、このGPUを多数接続して安価な大規模超並列コンピュータを製造しようと言う動きがあり、GPUメーカーも科学計算向けに倍精度浮動小数点の演算性能を強化した製品を徐々に浸透させつつある。また、AIを実現するための機械学習・深層学習をアクセラレートするために、半精度浮動小数点および8ビット整数の演算性能および命令セットを強化する傾向も出始めている。
関連項目

メニーコア

並列化

グリッド化

並列コンピューティング

スーパーコンピュータ

グリッドコンピュータ

計算機工学

第一原理バンド計算

表

話

編

歴
並列計算
総論

クラウドコンピューティング

グリッド・コンピューティング

高性能計算

コンピュータ・クラスター

分散コンピューティング

並列レベル

タスク

データ

ビット

命令

スレッド

スーパースレッディング（英語版）

ハイパースレッディング

理論

アムダールの法則

グスタフソンの法則

コスト効率性（英語版）

Karp-Flatt metric（英語版）

Parallel slowdown（英語版）

Speedup（英語版）

要素

スレッド

ファイバー

プロセス

PRAM

Instruction window（英語版）

調整

キャッシュコヒーレンシ

同期

バリア

マルチスレッディング

マルチプロセッシング

メモリコヒーレンス

Cache invalidation（英語版）

Application checkpointing（英語版）

プログラミング

スレッド (コンピュータ)

並列プログラミングモデル

Implicit parallelism（英語版）

Explicit parallelism（英語版）

並行性


フリンの分類

SISD

SIMD

MISD

MIMD

SPMD（英語版）



Lock-freeとWait-freeアルゴリズム

ハードウェア

スーパーコンピュータ

スーパースカラー

ベクトル計算機