IP over Infiniband (CentOS 6.0)

ML115 G5 (CentOS 6.0)環境で IP over Infinibandしました。
利用したHCAは Mellanox Technologies MT25204 [InfiniHost III Lx HCA] (rev a0) になります。

まずはじめに、Mellanoxのサイトからダウンロードしてきたドライバは、Kernelが合わないと怒られました。

[root@scst ~]# mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0-rhel6-i686.iso /mnt/
[root@scst /]# cd /mnt
[root@scst mnt]# ./mlnxofedinstall
The 2.6.32-71.el6.i686 kernel is installed, but do not have drivers available.
Cannot continue.

CentOS 6.0は、標準でInfinibandをサポートしていた筈なので、Kernelモジュールを確認してみました。
yum search openfabrics などとするとドライバ系のRPMパッケージも提供されている様ですが、何も追加しなくてもMinimalインストールした状態でも問題なく利用できる様です。
必要なモジュールは2個。
IPoIBに必要なのは、ib_ipoibです。
ネットワーク上に、SubnetManagerが存在しない場合は、OpenSMを導入してください。
ib_umad は、OpenSM動作に必要なモジュールになります。

[root@scst ~]# modprobe ib_ipoib
[root@scst ~]# modprobe ib_umad
[root@scst ~]# /etc/init.d/opensm start
Starting IB Subnet Manager:[  OK  ]
[root@scst ~]#

認識は、こんな感じになります。IPアドレスのつけ方とかは、Ethernetと同じです。

[root@scst ~]# ifconfig ib0
Ifconfig uses the ioctl access method to get the full address information, which limits hardware addresses to 8 bytes.
Because Infiniband address has 20 bytes, only the first 8 bytes are displayed correctly.
Ifconfig is obsolete! For replacement check ip.
ib0       Link encap:InfiniBand  HWaddr 80:00:04:04:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00  
          inet addr:192.168.0.1  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::202:c902:22:de9d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:2044  Metric:1
          RX packets:15 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:6 overruns:0 carrier:0
          collisions:0 txqueuelen:256 
          RX bytes:1064 (1.0 KiB)  TX bytes:0 (0.0 b)