万人のためのハイパフォーマンスコンピューティング

HPC Do It Yourself Club

      HOMEE5-2600v3製品情報お役立ち情報購入案内お問い合わせ会社案内
      ムービーダウンロードドキュメント最新トピックスおもしろLinkHPCノウハウ

4 Node FDR Infiniband Cluster性能評価
OpenMPIとOpenMPのHybrid実行でのMustオプション
OpenMPIで別ノードの環境変数をセットするには

InfiniBand QDR vs. Gb Ethernet

その3の3:NFSでの速度比較 IPOIBでNFS Auto Mount

(最新のドライバーでの性能比較はコチラ

(FDR Infinibandでの性能評価はコチラ

前回の記事からの続き
 この記事の目的は、NFSでのInfiniBandとGigabit Ethernetの速度差を比較することだ。ハードディスク単体をNFSで共有した場合、読み書き速度が遅すぎてInfiniBandの効果が現れない。そこで、高速なファイルサーバーの速度に近づけるため、SSDを3台RAID0にして比較的高速なファイルシステムを構成した。これには、HPCDIY-SilentWSに標準装備されるハードウェアRAIDを用いた。詳しい構成方法や使っているSSDなどについては、別の記事で解説するので、今は説明しない。
 3台のSSDでのRAIDはhpc01の/ssdにマウントした。単体のHDDの速度もついでに計測するため、/hddというディレクトリも用意した。この2つのディレクトリをIPOIBとGigabit Ethernet経由でhpc02にNFSマウントする。この2台のクラスターでは、NFSは既に使われているため、必要な設定はあらかじめなされている(こちらこちらこちら)。追加の部分を修正すればいい。
 hpc01上で、/ssdと/hddをNFSで公開する。それには、/etc/exportsファイルを修正する。
[root@hpc01 ~]# cat /etc/exports
/home 192.168.1.0/255.255.255.0(rw,no_root_squash)
/opt 192.168.1.0/255.255.255.0(rw,no_root_squash)
/etc/lava 192.168.1.0/255.255.255.0(rw,no_root_squash)
/hdd 192.168.2.0/255.255.255.0(rw,no_root_squash) <ー/hddをIPOIBで公開
/hdd 192.168.1.0/255.255.255.0(rw,no_root_squash) <ー/hddをGigabit Ethernetで公開
/ssd 192.168.2.0/255.255.255.0(rw,no_root_squash) <ー/ssdをIPOIBで公開
/ssd 192.168.1.0/255.255.255.0(rw,no_root_squash) <ー/ssdをGigabit Ethernetで公開
これを有効にするためには、exportfs -aを実行するか、リブートする。
 次に、hpc02上で公開されたNFSファイルをAuto Mountする。関係するファイルは、/etc/auto.masterと/etc/auto.directの2つだ。修正が必要なのは、/etc/auto.directのみだが、参考のため両方示す。
[root@hpc02 ~]# cat /etc/auto.master
#
# Sample auto.master file
# This is an automounter map and it has the following format
# key [ -mount-options-separated-by-comma ] location
# For details of the format look at autofs(5).
#
/- /etc/auto.direct --timeout=60 <ー以前の記事で修正された部分
/misc /etc/auto.misc
#
# NOTE: mounts done from a hosts map will be mounted with the
# "nosuid" and "nodev" options unless the "suid" and "dev"
# options are explicitly given.
#
/net -hosts
#
# Include central master map if it can be found using
# nsswitch sources.
#
# Note that if there are entries for /net or /misc (as
# above) in the included master map any keys that are the
# same will not be seen as the first read key seen takes
# precedence.
#
+auto.master
上記のファイルでは修正は(既になされているので)必要ない。しかし、下記のファイルは/hddと/ssdを2つのネットワーク経由でマウントするため、修正が必要になる。
[root@hpc02 ~]# cat /etc/auto.direct
/home hpc01:/home
/opt hpc01:/opt
/etc/lava hpc01:/etc/lava
/nfs/ssdib hpcipoib01:/ssd <ーIPOIB経由でhpc01の/ssdをhpc02の/nfs/ssdibにマウントする
/nfs/ssd hpc01:/ssd <ーGigabit Ethernet経由でhpc01の/ssdをhpc02の/nfs/ssdにマウントする
/nfs/hddib hpcipoib01:/hdd <ーIPOIB経由でhpc01の/hddをhpc02の/nfs/hddibにマウントする
/nfs/hdd hpc01:/hdd <ーGigabit Ethernet経由でhpc01の/hddをhpc02の/nfs/hddにマウントする

このファイルで分かる通り、元は2つだが、経由も2つなので、掛け算で4つのマウントポイントが必要になる。/にnfsというディレクトリを作り、その下に、hdd、hddib、ssd、ssdibというディレクトリを作り、マウントポイントとする。
[root@hpc02 ~]# mkdir /nfs
[root@hpc02 ~]# cd /nfs
[root@hpc02 ~]# mkdir hdd hddib ssd ssdib
Auto Mountのサービスをリスタートするか、リブートすれば、4つのディレクトリ経由でNFSが使えるようになる。
[root@hpc02 ~]# /etc/init.d/autofs restart
automount を停止中: [ OK ]
automount を起動中: [ OK ]
次回に続く

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Copyright (C) HPCシステムズ株式会社. All Rights Reserved.