IBM GPFS開発元IBM

最新版4.1 / 2014年5月
対応OSAIX / Linux / Windows Server 2003 R2
種別ファイルシステム
ライセンスプロプライエタリ
公式サイト ⇒www.ibm.com
テンプレートを表示

GPFS
開発者IBM
正式名IBM General Parallel File System
導入(RS/6000 SP)
構造
ディレクトリツリー
限度
最大ファイル サイズ4PB
特徴
対応OSAIX 6.1/7.1, RHEL 6, SLES 11, Debian 6/7, Windows Server 2008 x64 (SP2)/2008 R2/2012 (Datacenter, Standard)/2012 R2 (Datacenter, Standard), Windows 7 (Enterprise,Ultimate) x64 SP1/Windows 8.1
テンプレートを表示

General Parallel File System (GPFS) はクラスタコンピューティング向けの分散ファイルシステムである。GPFSはIBMによって開発され、TOP500のリストに含まれる多くのスーパーコンピュータで使われている[1]。
概要

GPFSを使用した例にはASC Purpleスーパーコンピュータがあり[2]、12,000以上のプロセッサと11,000以上のディスクによる合計2ペタバイトのディスク記憶容量で構成されている。

他のファイルシステムと比較して、GPFSは多数のクラスターノードで実行されるアプリケーションに対して、同時並行かつ高速なファイルアクセスを提供する。GPFSはAIX 5L クラスター、Linux クラスター、Windows Server、またはAIXやLinuxやWindowsノードのヘテロジニアスクラスターで使用できる。ファイルシステムストレージの能力提供に加え、GPFSはGPFSクラスターの管理ツールを提供し、リモートのGPFSクラスターからのファイルシステムへの共用アクセスを許可できる。

GPFSは1998年にAIX、2001年からはLinux、2008年からはWindows Serverで使用可能となり、IBM System Cluster 1350の一部としても提供されている。
アーキテクチャ

GPFSは多数のノードが並列にファイルデータ、ファイルメタデータにアクセスできるよう設計されている。
データストライピング

一般的に物理ディスクはネットワーク[要曖昧さ回避]に比べて遅いため、高いスループットを実現するためにはデータを複数のディスクにまたがってストライピングするのが有効である。GPFSはLVMに依存することなく、自身でデータのストライピングをサポートしている。GPFSは大きなファイルを複数の同じサイズのブロックに分割して保存する。典型的には一つのブロックは256k（設定によって16kから1M）である。大きなファイルを読み込むときに、GPFSは分散されたディスクからデータを並列にプリフェッチしてバッファに蓄積しておく。同様にバッファに蓄積されているアクセスされなくなった汚れた（書き換えられた）データを並列でディスクに書き戻す。よって一つのファイルへアクセスしたときのスループットは、データを保存する各ディスクの帯域幅の合計またはインターコネクトの帯域幅が上限となる。
分散ロック

GPFSはファイルの同期、一貫性についてPOSIXセマンティックスを保証している。例えば同時に同じファイルにアクセスする2つプロセスが存在するとき、読み込み側のプロセスが見えるデータは書き込みプロセスが書き込んだデータのすべて、若しくはまったく見えないかのどちらかである。読み込みプロセスはデータが中途まで書き込まれた状態を読み込んでしまうことはない。読み込みと書き込みの不可分操作性が保証されている。通常のファイルシステムでは対象をファイル単位でロックすることで、書き込みと読み込みが同時されないようにしている。

GPFSでは分散ロックを用いてファイルの一貫性を保っている。ファイルシステムノードのうち一台がグローバルロックマネージャの役割をはたし、各々のノードはローカルロックマネージャを持っている。グローバルロックマネージャはロックトークンを付与することでローカルロックマネージャ間の調整をする。一つのノードが繰り返し同じファイルへアクセスする時は初めの一回だけロックトークンを獲得すれば、その後ノード間でメッセージ交換をする必要がない。他のノードが同じファイルにアクセスする場合は最初にロックトークンを獲得したノードにロックトークンを要求する。ロックトークンを通さなければファイルのデータを変更できないため、ロックトークンは更にキャッシュの一貫性を保証する役割も果たしている。
並列データアクセス.mw-parser-output .ambox{border:1px solid #a2a9b1;border-left:10px solid #36c;background-color:#fbfbfb;box-sizing:border-box}.mw-parser-output .ambox+link+.ambox,.mw-parser-output .ambox+link+style+.ambox,.mw-parser-output .ambox+link+link+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+style+.ambox,.mw-parser-output .ambox+.mw-empty-elt+link+link+.ambox{margin-top:-1px}html body.mediawiki .mw-parser-output .ambox.mbox-small-left{margin:4px 1em 4px 0;overflow:hidden;width:238px;border-collapse:collapse;font-size:88%;line-height:1.25em}.mw-parser-output .ambox-speedy{border-left:10px solid #b32424;background-color:#fee7e6}.mw-parser-output .ambox-delete{border-left:10px solid #b32424}.mw-parser-output .ambox-content{border-left:10px solid #f28500}.mw-parser-output .ambox-style{border-left:10px solid #fc3}.mw-parser-output .ambox-move{border-left:10px solid #9932cc}.mw-parser-output .ambox-protection{border-left:10px solid #a2a9b1}.mw-parser-output .ambox .mbox-text{border:none;padding:0.25em 0.5em;width:100%;font-size:90%}.mw-parser-output .ambox .mbox-image{border:none;padding:2px 0 2px 0.5em;text-align:center}.mw-parser-output .ambox .mbox-imageright{border:none;padding:2px 0.5em 2px 0;text-align:center}.mw-parser-output .ambox .mbox-empty-cell{border:none;padding:0;width:1px}.mw-parser-output .ambox .mbox-image-div{width:52px}html.client-js body.skin-minerva .mw-parser-output .mbox-text-span{margin-left:23px!important}@media(min-width:720px){.mw-parser-output .ambox{margin:0 10%}}

この節の加筆が望まれています。

メタデータ

この節の加筆が望まれています。

アロケーションマップ