IP over Infiniband (CentOS 6.0)
2011年11月29日(火) 00:27 JST
閲覧数 19,685
ML115 G5 (CentOS 6.0)環境で IP over Infinibandしました。
利用したHCAは Mellanox Technologies MT25204 [InfiniHost III Lx HCA] (rev a0) になります。
まずはじめに、Mellanoxのサイトからダウンロードしてきたドライバは、Kernelが合わないと怒られました。
CentOS 6.0は、標準でInfinibandをサポートしていた筈なので、Kernelモジュールを確認してみました。
yum search openfabrics などとするとドライバ系のRPMパッケージも提供されている様ですが、何も追加しなくてもMinimalインストールした状態でも問題なく利用できる様です。
必要なモジュールは2個。
IPoIBに必要なのは、ib_ipoibです。
ネットワーク上に、SubnetManagerが存在しない場合は、OpenSMを導入してください。
ib_umad は、OpenSM動作に必要なモジュールになります。
利用したHCAは Mellanox Technologies MT25204 [InfiniHost III Lx HCA] (rev a0) になります。
まずはじめに、Mellanoxのサイトからダウンロードしてきたドライバは、Kernelが合わないと怒られました。
[root@scst ~]# mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0-rhel6-i686.iso /mnt/ [root@scst /]# cd /mnt [root@scst mnt]# ./mlnxofedinstall The 2.6.32-71.el6.i686 kernel is installed, but do not have drivers available. Cannot continue.
CentOS 6.0は、標準でInfinibandをサポートしていた筈なので、Kernelモジュールを確認してみました。
yum search openfabrics などとするとドライバ系のRPMパッケージも提供されている様ですが、何も追加しなくてもMinimalインストールした状態でも問題なく利用できる様です。
必要なモジュールは2個。
IPoIBに必要なのは、ib_ipoibです。
ネットワーク上に、SubnetManagerが存在しない場合は、OpenSMを導入してください。
ib_umad は、OpenSM動作に必要なモジュールになります。
[root@scst ~]# modprobe ib_ipoib [root@scst ~]# modprobe ib_umad [root@scst ~]# /etc/init.d/opensm start Starting IB Subnet Manager:[ OK ] [root@scst ~]#認識は、こんな感じになります。IPアドレスのつけ方とかは、Ethernetと同じです。
[root@scst ~]# ifconfig ib0 Ifconfig uses the ioctl access method to get the full address information, which limits hardware addresses to 8 bytes. Because Infiniband address has 20 bytes, only the first 8 bytes are displayed correctly. Ifconfig is obsolete! For replacement check ip. ib0 Link encap:InfiniBand HWaddr 80:00:04:04:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 inet addr:192.168.0.1 Bcast:192.168.0.255 Mask:255.255.255.0 inet6 addr: fe80::202:c902:22:de9d/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:2044 Metric:1 RX packets:15 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:6 overruns:0 carrier:0 collisions:0 txqueuelen:256 RX bytes:1064 (1.0 KiB) TX bytes:0 (0.0 b)