IT memo/linuxmemo4

Setting up isotope2.aori.u-tokyo.ac.jp Edit

specification Edit

Name: isotope2
IP: 157.82.233.10
Cluster system
Headnode: Xeon X5680 (3.3GHz, hexa core) x2
Compute node: [Xeon X5690 (3.46GHz, hexa core)x2]x12
Storage: /data:8TB, /data1-6:11TBx6
Network: InfiniBand QDR (MPI/NFS)
OS: RedHat Enterprise Linux 5 (Server)

OS Edit

旧isotope2を生研からAORIに移設し、計算ノード、通信装置、ストレージを増設した。

softwares Edit

大抵はisotope2からそのまま引き継げでいる。詳しくは[IT memo/linuxmemo3]参照。

ganglia Edit

Getting start Edit

  • change your password
    $ passwd
  • change your login shell to /bin/tcsh (if your default is bash)
    $ chsh
  • copy /home/kei/.cshrc in your home directory
    $ cp /home/kei/.cshrc ~/
  • make your public key for isotope2
    $ ssh-keygen -t rsa
    (do not input passphrase)
  • save your id_rsa.pub as authorized_keys
    $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    $ chmod 600 ~/.ssh/authorized_keys
  • go to your working directory (/dataX/yyyy) and work.
    $ cd /dataX/yyyy

Manuals Edit

Benchmark Edit

NCEP/SIO GSM Edit

  • http://http://g-rsm.wikispaces.com のグローバルモデルのテスト。
  • mvapich2+intelでコンパイル。
    Run1 (headnode only): 30.9s
    Run2 (node=1:ppn=8):  30.4s
    Run3 (node=2:ppn=4):  26.3s
    Run4 (node=4:ppn=2):  23.9s
    となり、nodeをまたいだほうが高速な結果が出た。本当かいな?

NCEP/SIO RSM Edit

  • 上記と同様、領域版のテスト。
  • mvapich2+intelでコンパイル
    Run1 (node=2:ppn=12): 536.2s
    Run2 (node=3:ppn=8):  518.6s
    Run3 (node=4:ppn=6):  510.5s
    GSMの結果と同様に、nodeをまたいだほうが高速。CPUのBandwidthがボトルネックである可能性大。(だが、気にならないレベル)

NICAM Edit

  • GL5RL0, Isotope/River入り実験。10並列、72時間。
  • mvapich2だとノードをまたぐジョブがうまく走らない。
    Run1 mvapich2 (node=1:ppn=10): 404s
    Run2 mpich1 (node=1:ppn=10): 401s
    Run3 mpich1 (node=2:ppn=5): 336s
    結構、分散型と集中型に差が出た。

MIROC5 offline MATSIRO Edit

  • AR5用のMIROC5陸面のみ。1ヶ月計算。
    Run1 mvapich2-1.6 (node=2:ppn=10) 82s
    Run2 mvapich2-1.6 (node=4:ppn=5) 76s
    Run3 openmpi-1.5.4 (node=2:ppn=10) 83s
    Run4 openmpi-1.5.4 (node=4:ppn=5) 70s
    mpich2だとcannot connect to local mpdというエラーが出て止まる。