万人のためのハイパフォーマンスコンピューティング

HPC Do It Yourself Club

      HOMEE5-2600v3製品情報お役立ち情報購入案内お問い合わせ会社案内
      ムービーダウンロードドキュメント最新トピックスおもしろLinkHPCノウハウ

4 Node FDR Infiniband Cluster性能評価
OpenMPIとOpenMPのHybrid実行でのMustオプション
OpenMPIで別ノードの環境変数をセットするには

InfiniBand QDR vs. Gb Ethernet

その3の2:NFSでの速度比較 IPOIBの設定

(最新のドライバーでの性能比較はコチラ

(FDR Infinibandでの性能評価はコチラ

 IPOIBを設定しないと、InfiniBandでNFSが使えないので、その設定を行う。InfiniBandが使えるようになっていれば、ib0というネットワークインターフェースが既に出来ている。ifconfigコマンドでib0にIPアドレスを設定すれば、IPOIBの設定は終了だ。
 使用している2台のコンピュータのホスト名はhpc01とhpc02にしてある。Gigabit EthernetのIPアドレスは、それぞれ192.168.1.1と192.168.1.2だ。InfiniBand上のIPアドレスは、別のネットワークになるので、192.168.2.xにすることにする。hpc01上で、
[root@hpc01 ~]# ifconfig ib0 192.168.2.1
を実行すれば、InfiniBandにIPアドレス192.168.2.1が設定される。このままだと、リブートすると設定が消えてしまう。リブートしても再設定されるためには、/etc/sysconfig/network-scriptsディレクトリの中に、ifcfg-ib0というファイルを作り、内容を次のようにすればいい。
[root@hpc01 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ib0
DEVICE="ib0"
TYPE=Infiniband
BOOTPROTO=static
IPADDR=192.168.2.1
PREFIX=24
ONBOOT=yes
続いて、hpc02のInfiniBandには192.168.2.2というIPアドレスを設定する。
[root@hpc01 ~]# ssh hpc02 ifconfig ib0 192.168.2.2
リブートしても再設定されるように、
[root@hpc01 ~]# scp /etc/sysconfig/network-scripts/ifcfg-ib0 hpc02:/etc/sysconfig/network-scripts/
[root@hpc01 ~]# ssh hpc02 ed /etc/sysconfig/network-scripts/ifcfg-ib0 <<.
> /192/
> s/1$/2/
> wq
> .
を実行する。念のため、hpc02上のifcfg-ib0を確認する。
[root@hpc01 ~]# ssh hpc02 cat /etc/sysconfig/network-scripts/ifcfg-ib0
DEVICE="ib0"
TYPE=Infiniband
BOOTPROTO=static
IPADDR=192.168.2.2
PREFIX=24
ONBOOT=yes
 更に、後々便利なように、IPOIB用のホスト名を、hpc01の/etc/hosts中に設定しておく。hpc01用にはhpcipoib01、hpc02用にはhpcipoib02を設定することにする。
[root@hpc01 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.1 hpc01
192.168.1.2 hpc02
192.168.2.1 hpcipoib01
192.168.2.2 hpcipoib02
これをすべてのコンピュータ(と言っても、今のところ残りはhpc02しかないが)でNISを使って有効にするために、
cd /var/yp;make
を行う。
 これにより、ネットワークを使う通常のコマンドが、便利に使えるようになる。例えば、scp file-x hpc02:file-yなら、hpc01上のfile-xをhpc02上のfile-yにGigabit Ethernetを使ってコピーするが、scp file-x hpcipoib02:file-yならIPOIBを使ってコピーすることになる。
 次に続く

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Copyright (C) HPCシステムズ株式会社. All Rights Reserved.