万人のためのハイパフォーマンスコンピューティング

HPC Do It Yourself Club

      HOMEE5-2600v3製品情報お役立ち情報購入案内お問い合わせ会社案内
      ムービーダウンロードドキュメント最新トピックスおもしろLinkHPCノウハウ

4 Node FDR Infiniband Cluster性能評価
OpenMPIとOpenMPのHybrid実行でのMustオプション
OpenMPIで別ノードの環境変数をセットするには

InfiniBand QDR vs. Gb Ethernet

その3の1:NFSでの速度比較 はじめに

(最新のドライバーでの性能比較はコチラ

(FDR Infinibandでの性能評価はコチラ

 InfiniBandの効果が出るのは通信量が多いアプリケーションである。しかしアプリケーションは通常、なるべく通信量を抑えるよう並列化されているので、数10並列程度の小規模クラスターでは、InfiniBandの高速なデータ転送の恩恵をそのまま受けられるとは言えない。だが、通信しかしないNFS(Network File System)においては、InfiniBandの効果が著しく現れてくる。

 クラスターの全コンピュータでファイルを共有するNFSでは、通常Gigabit Ethernetが使われている。Gigabit Ethernetの転送速度は、以前の記事に書いたとおり約118MB/sだった。それに比べ、InfiniBandは約3.4GB/s、およそ30倍の速度を誇る。Gigabit Ethernetに代わりInfiniBandをNFSに用いれば格段に効率が良くなるのは明らかであり、これが小規模なクラスターではInfiniBandが最も役立つ用途だと言える。

 Gigabit EthernetとInfiniBandの通信の仕方には違いがある。Gigabit Ethernetは、世界規模の遠距離通信にも対応できるIP(Internet Protocol)を使って通信を行うが、もっと近い距離の通信に用いられるInfiniBandでは効率を重視しているためIPが使われていない。しかし、IPを使えないと過去に開発された有用なネットワーク関係のソフトウェアが使えない。NFSもその一つだ。
 そこで考えられた方法がIPOIB(IP over InfiniBand)である。これはIPをInfiniBandの上で実現するものである。IPOIBを使うことで、InfiniBandでもNFSを使用することができる。
 今回は、IPOIBを使えるように設定を行い、NFSの通信速度が、Gigabit EthernetとInfiniBandでどのくらい変わるかを実際に試してみる。ところで、現在のハードディスクの読み書きの速度は、単体では100MB/s程度である。この程度ならGigabit Ethernetでも十分だ。わざわざInfiniBandを使うまでもない。しかし、ファイルサーバーでは複数のディスクでRAIDなどを使い、読み書きを高速化するのが普通だ。ハードディスクの代わりにSSDを使うとより高速になる。そうなってくるとGigabit Ethernetでは役不足で、InfiniBandの登場と相成る。
 次回に続く

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Copyright (C) HPCシステムズ株式会社. All Rights Reserved.