万人のためのハイパフォーマンスコンピューティング

HPC Do It Yourself Club

      HOMEE5-2600v3製品情報お役立ち情報購入案内お問い合わせ会社案内
      ムービーダウンロードドキュメント最新トピックスおもしろLinkHPCノウハウ

HPCDIYC製品取扱説明書

 

XX大学様用
製品構成
HPCDIY-SWS87W-16GB16+追加HDD2TB*3 1台
HPCDIY-SWS87W-8GB16 1台
EATON SPX 1000 UPS 1台
RestoreUSB 1個

出荷時rootパスワード = XXXXXXXXXX
Eaton UPS ID = admin パスワード = admin
になっています。

 

●目次
1     製品構成
2     上部ラベル
3     背面ラベル
4     ケーブル接続
5     接続確認のため、hpc01にキーボードとディスプレイを接続
6    UPSの電源入れる
7     コンピュータの電源入れる
8     クラスター内部と外部への接続確認
9     外部ネットワーク接続用IPアドレス設定ファイル
10    hpc01からキーボードとディスプレイを取り外す
11    vncserverへrootでloginする
12     構成を確認する
13     新規ユーザーを登録する
14     新規ユーザーのクラスター内loginでパスワードを不要にする
15     新規ユーザーで、vncを使えるようにする
 15.1    vncserverを立ち上げる
 15.2     リブート後も新規ユーザーでvncが使えるようにするには
16     パスワードを変更するには
 16.1     オリジナルパスワードの変更
 16.2    vncパスワードの変更
17     ユーザーの削除
18     コンパイラー、MPI、Lava(Job Scheduler)の存在確認
19     各種テスト
 19.1    MPIの機能を試す
 19.2    lavaを試す
 19.3     姫野ベンチで性能測定
 19.4    UPSの自動シャットダウン機能を試す
20     出荷時の状態への復旧

----------------------------------------------------------------------------------------------------------

1 製品構成

 製品は、写真左から、
EATON SPX 1000 UPS
HPCDIY-SWS87W-16GB16+追加HDD2TB*3
HPCDIY-SWS87W-8GB16
の構成になります。

 

2 上部ラベル

各コンピュータの上部には、ホスト名と構成要素を示すラベルが貼り付けてあります。
こちらはホスト名hpc01のラベルです。

こちらがhpc02のラベルです。

 

3 背面ラベル

コンピュータの背面には、接続を容易にするためのラベルが貼り付けてあります。

各ラベルを左に90度回転して見ますと、hpc01は

hpc02は

のようになっています。

 

4 ケーブル接続

eth0をクラスター内部接続用に、eth1を外部の学内または社内LANに接続します。2台構成のクラスター内部接続は、スイッチは必要ありませんので、1本のケーブルでeth0間を直接接続してください。UPSとhpc01は、付属のRS232Cケーブルで接続してください。
ケーブルを接続すると、写真のような状態になります。

写真ではhpc01だけ外部LANへ接続してありますが、hpc02も外部LANへ接続する場合は、eth1から外部LANのスイッチなどに接続します。

 

5 接続確認のため、hpc01にキーボードとディスプレイを接続

念のため、外部LANへ間違い無く接続できているかの確認ができるまでは、hpc01にキーボードとディスプレイを接続して、確認操作をします。一時的に、キーボードとディスプレイを接続してください。

 

6 UPSの電源入れる

UPSに電源ケーブルを接続すると、電源オフ状態でも、FANが回転しLED表示が始まります。

UPSの電源スイッチを長押ししてUPSの電源をオンにします。

 

7 コンピュータの電源入れる

hpc01の電源をオンして、30秒程度待ちhpc02の電源もオンします。必ずhpc01の電源を先にオンしてください。hpc02が立ち上がるとき、hpc01のNISサーバーが、事前に立ち上がっている必用があるためです。

しばらく待つと、hpc01のlogin画面が表示されます。

 

8 クラスター内部と外部への接続確認

rootでloginして動作確認を行います。
rootのパスワードはxxxxxxxxになっています。

loginしましたら、最初に、クラスター内部のネットワーク接続が出来ているか、確認します。上の写真では、
ssh hpc02 hostname
を実行し、
hpc02
の結果が得られましたので、接続が確認できました。
次に、外部へのネットワーク接続を確認します。上の写真では、
ifcfg eth1
を実行し、外部接続用IPアドレスが、正しく設定されていることを確認後、
ping xxx.xxx.xxx.xxx
を実行しました。xxx.xxx.xxx.xxxは以降のテストに使うMacです。結果が帰ってきたので、外部LANへの接続も確認できました。お使いのネットワークの現状に合わせて、確認作業を行なってください。

 

9 外部ネットワーク接続用IPアドレス設定ファイル

既に設定済みの、外部ネットワーク接続用IPアドレス設定ファイルは、
/etc/sysconfig/network-scripts/ifcfg-eth1
になります。変更などの場合は、このファイルを修正してください。
現在の内容はhpc01では、
DEVICE="eth1"
BOOTPROTO="none"
NM_CONTROLLED="no"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=xxx.xxx.xxx.xxx
PREFIX=24
に設定されています。
hpc02では、
DEVICE="eth1"
BOOTPROTO="none"
NM_CONTROLLED="no"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=xxx.xxx.xxx.xxx
PREFIX=24
に設定されています。

 

10 hpc01からキーボードとディスプレイを取り外す

接続が確認できましたので、キーボードとディスプレイは、必要なくなりました。取り外しても大丈夫です。勿論、そのまま接続していても構いません。

 

11 vncserverへrootでloginする

出荷状態で、vncserverが立ち上がるようになっています。rootですぐに、vncserverにloginできます。
以降は、Macからvncserverにrootでloginする例です。
Finderの移動から、サーバーへ接続...をクリックします。

続いて表示されるウインドウのサーバーアドレスに、
vnc://サーバーのアドレス:5901
を入力し、接続をクリックします。
サーバーのアドレスは、hpc01は xxxxx、hpc02はyyyyyです。

するとパスワードを聞かれますので、rootのvncパスワードを入力し、接続をクリックします。rootのvncパスワードは、koyama3403です。

サーバーにloginされます。

以後はGUIを使って、自由に操作できます。

 

12 構成を確認する

コマンドラインで確認を行います。hpc01上でdfコマンドを入力すると、システムディスクの他に、約3.6TBのディスクが/raidにマウントされていることがわかります。これは、1.8TB(実質、名称上2TB)のハードディスクを3台で構成されるRAID5のディスクです。

sshでhpc02に移り、dfコマンドを入力すると、システムディスクの他に、/opt、
/home、/etc/lava、/raidがNFSで共有されていることがわかります。/optの共有は、追加でインストールしたソフトウェをここに入れ(Intel CompilerやOpenMPI等)、クラスター内の全ノードで使うためです。/homeは各ユーザーのホームディレクトリーを共有します。/etc/lava共有はlavaの設定変更をhpc01上で一括で行うためのものです。/raidでは、計算などで生じる、大量のデータを、クラスター内で共有できるようにしてあります。

hpc01上でtopコマンドを入力すると、16コアでメモリーが256GB実装されていることがわかります。

hpc02上でtopコマンドを入力すると、16コアでメモリーが128GB実装されていることがわかります。

 

13 新規ユーザーを登録する

ネットワークの接続が確認できたので、パソコンなどからhpc01へroot loginし、Terminalなどを使い、コマンドラインで新規ユーザーuser0を登録してみます。パスワードも設定し、NISの情報を更新します。これで、新規ユーザーuser0はクラスター内の全コンピュータ(この例では、hpc01とhpc02)で有効になります。

 

14 新規ユーザーのクラスター内loginでパスワードを不要にする

suコマンドで、今登録したuser0になります。
ssh-keygen -t rsa
を入力します。その後聞かれる質問には、Enterで応えます。終了したら、/home/user0/.sshに移動します。最後に、そこにあるid_rsa.pubをauthorized_keysにコピーします。これにより、以降はsshなどで、パスワードは不要になります。

 

15 新規ユーザーで、vncを使えるようにする

    15.1 vncserverを立ち上げる

suコマンドで、今登録したuser0になります。次に、vncserverコマンドを入力します。パスワードを聞かれますので、任意のパスワードを入力します。sshなどのloginパスワードとは、同じである必要はありませんが、同じにしておくほうが、混乱せずいいかもしれません。入力が終わると、少し待った後メッセージが表示され、コマンドが終了します。ここでパスワードは2つになりました。sshなどのlogin用パスワードと、vncserver用のパスワードです。以降は、前者をオリジナルパスワード、後者をvncパスワードと呼びます。

途中で表示された、
New 'hpc01:3 (user0)' desktop is hpc01:3
の、:の後の数字を覚えておいてください。5900+この数字が、vncserverにloginする時のポート番号になります。以上の操作は、一回行えば、hpc01が再起動するまで有効です。

    15.2 リブート後も新規ユーザーでvncが使えるようにするには

上記のままですと、サーバーが再起動すると、新規ユーザーuser0ではvncが使えなくなってしまいます。また使えるようにするためには、sshでloginし、vncserverコマンドを入力するなどの作業が、必要になります。この作業を自動化したい場合、/etc/sysconfig/vncserversを修正します。修正前は、最後のほうが、
# VNCSERVERS="2:myusername"
# VNCSERVERARGS[2]="-geometry 800x600 -nolisten tcp -localhost"
VNCSERVERS="1:root 2:hpc"
VNCSERVERARGS[1]="-geometry 1024x768"
VNCSERVERARGS[2]="-geometry 1024x768"
になっています。ユーザー名rootとhpcでvncが使える設定になっています。これを、
# VNCSERVERS="2:myusername"
# VNCSERVERARGS[2]="-geometry 800x600 -nolisten tcp -localhost"
VNCSERVERS="1:root 2:hpc 3:user0"
VNCSERVERARGS[1]="-geometry 1024x768"
VNCSERVERARGS[2]="-geometry 1024x768"
VNCSERVERARGS[3]="-geometry 1024x768"
に修正すれば、リブート後も新規ユーザーuser0でvncが使えるようになります。

 

16 パスワードを変更するには

Terminalなどを使い、コマンドラインで操作します。

    16.1 オリジナルパスワードの変更

オリジナルパスワードを変更するには、コマンドラインで、
yppasswd
コマンドを使って行います。クラスター内のコンピュータ全てのパスワードが、コマンド1つで変更されます。passwdコマンドは使わないでください。rootのパスワードは共有されません。サーバーごとに変更してください。

    16.2 vncパスワードの変更

vncパスワードの変更は、コマンドラインで、
vncpasswd
コマンドを使って行います。vncパスワードは、各ユーザーのホームディレクトリー下の.vnc以下に保存されています。ホームディレクトリーはNFSを用いて、クラスター内の全コンピュータで共有されています。従って、各ユーザーのvncパスワードは、全コンピュータで同一になります。

 

17 ユーザーの削除

不要になったユーザーはuserdelコマンドで削除できます。rootになって行なってください。userdel -rにすれば、ホームディレクトリー(user0の場合、/home/user0)も一緒に削除します。その後、削除の情報を、クラスター内で共用するため、/var/ypに移動し、makeを必ず行なってください。

 

18 コンパイラー、MPI、Lava(Job Scheduler)の存在確認

 ユーザーを新規登録すればすぐに、コンパイラー、MPI、Lavaがお使いになれます。PATHは自動設定されます。
 Intel Composer XE 2013をご購入いただいた場合、/opt/intelにインストールしてあります。
 MPIはOpenMPIを/opt/openmpiにインストールしてあります。
 Lavaのインストールと設定もなされていますので、すぐにお使いになれます。

 

19 各種テスト

ユーザー名hpcでloginすると、各種のテストが、簡単に出来ます。vncでloginするばあいのポート番号は5902になります。パスワードはxxxxxxxxです。テストはTerminalなどを使い、コマンドラインで行います。

    19.1 MPIの機能を試す

MPIの動作確認用テストプログラムは、/home/hpc/mpitestにある、simple.f90になります。MPIの各プロセスの実行ホスト名、ランク、全プロセス数を表示する、簡単なプログラムです。mpif90を使ってコンパイル後、mpirunで-np 2 -H hpc01,hpc02を指定して実行します。hpc01上で1プロセス、hpc02上で1プロセス、トータル2プロセスで実行されます。これで、2台のクラスターでMPIが動作することが確認できます。

    19.2 lavaを試す

lavaの動作確認用シェルスクリプトは/home/hpc/lavatestにあります。simpleというファイルです。内容は、lavaのlogを入れるlogdirというディレクトリを作り、hostnameコマンドを2つスケジュールするという、非常に簡単なものです。実行する前に、bhostsコマンドで、lavaの動作状態を確認します。hpc01とhpc02でSTATUSがokになっていて、lavaのジョブが投入可能なことがわかります。./simpleでシェルスクリプトが実行され、JOBIDが307と308で、ジョブが投入されたことがわかります。bjobsコマンドで、ジョブの実行状態がわかります。実行が終わると、logdirの中に、logが書き込まれます。

307の結果を見ると、hpc01からジョブが投入され、hpc01上で実行され、出力結果は、hpc01であることがわかります。

同様に、308の結果を見ると、hpc01からジョブが投入され、hpc02上で実行され、出力結果はhpc02であることがわかります。

以上の簡単な結果から、lavaの動作確認ができます。

    19.3 姫野ベンチで性能測定

MPIの機能テストで、MPIが動作していることがわかりましたので、今度は性能を測定してみます。よく知られている、姫野ベンチを使って実行速度を表示させます。姫野ベンチのMPI版は/home/hpc/himeno/mpiにあります。ソースコードとコンパイル済みのバイナリーも入っていますが、再コンパイルを行います。mpif90 -O3 -xHostでコンパイルすると、一般的に最高速のバイナリーが生成されますので、今回もそれを使います。

最初に、hpc01単独で16コア使って実行してみます。質問されるサイズには、xlを、配列の分割には1 16 1を入力します。

すると結果は約34.5GFLOPSになりました。
続いてhpc01とhpc02を使い、32コア全部を使って実行してみます。

結果は、約20.8GFLOPSと、16コアの時よりも遅くなりました。これは、mpirunのデフォールトの指定だと、ネットワークを介した通信量が膨大になり、通信の時間が増大したせいです。ネットワーク経由の通信を最小にするには、mpirunのオプションに、-num-sockets 2 -npersocket 8を追加します。そのようにして実行すると、

約64.4GFLOPSになりました。16コアの1.87倍ですので、GigabitEthernetであることを考えれば、十分の性能といえるでしょう。もっと高速にしたい場合、InfiniBandを追加するオプションもあります。MPIとInfiniBandの詳しい説明は、http://hpcdiyc.hpc.co.jp/topics07.htmlを御覧ください。

    19.4 UPSの自動シャットダウン機能を試す

hpc01の電源プラグはUPSの背面へ接続します。停電などでUPSへの電源供給がなくなっても、UPSのバッテリーがhpc01へ電力を供給し続けます。バッテリーがなくなりかけても停電などが復旧しない場合、hpc01は自動シャットダウンします。その機能を実現するため、UPSとhpc01をRS232Cケーブルで接続し、hpc01にはUPS用ソフトウェアがインストールと設定されています。UPS用ソフトウェアの動作確認や、設定変更はGUI画面で行います。ApplicationタブをクリックするとEatonというタブが表示されますので、そこをクリックし、右側のOpenをクリックします。

するとlogin画面が表示されますので、IDとパスワードにadminを入力します。

login後、左側のシャットダウンをクリックし、右下のシャットダウンのテストをクリックすると、自動シャットダウンが開始されます。

この他に、UPSへの電源遮断時のシャットダウンまでの時間(デフォールトでは電池が無くなる直前まで)の設定、パスワードの変更、自動シャットダウンのテストなどを行うことができます。詳しくは、付属DVDのマニュアルをご覧ください。


20 出荷時の状態への復旧

何らかの理由で、hpc01またはhpc02の一方、あるいは両方を、出荷時の状態へ復旧したい場合、付属のRestoreUSBをお使いください。

復旧したいコンピュータへ、キーボードとディスプレイを接続します。マウスは必要ありません。
RestoreUSBをhpc01またはhpc02のUSB2.0のコネクターへ挿し込みます。中のプラスチックが黒い方です。青い方はUSB3.0のコネクターですが、こちらに差し込むと、ブートしません。
さしこんだら、電源ボタンを押し、立ち上がるのを待ちます。

立ち上がってプロンプトが出たら、hpc01の場合は、
# cd root/ci
# hpc01
を、hpc02の場合は、
# cd root/ci
# hpc02
を入力します。色々画面に表示されますが、待つこと約10分で、復旧が終了します。

 

 

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Copyright (C) HPCシステムズ株式会社. All Rights Reserved.