[Exadata]请问在的Exadata中，infiniband交换机分别有哪些端口是...

ALLSTARS_ORACLE

[Exadata]请问在的Exadata中，infiniband交换机分别有哪些端口是如何连接的？有没有相应的端口列表，比如具体哪个端口连接哪个cell或者是computer node？

很高兴和你在这里讨论问题，关于infiniband列表，你可以参考下面的列表，由于这里无法上传图片，所以整理成文本模式，格式不是很对应，但是我以“|”符号分割每一列。

System/Rack Unit From          | Label/HW Port    | System/Rack Unit To      |Label/HW Port       |Description

IB1 Switch/1                 |1B/21           | IB2  Switch/20        | 8B/32               | 3M IB Cab. P/N 530-4404
IB1 Switch/1                 |0B/19           | IB3  Switch/24        | 8B/32               | 3M IB Cab. P/N 530-4404
IB2 Switch/20                |9B/13           | IB3  Switch/24        | 9A/14               |2M IB Cab. P/N 530-4403
IB2 Switch/20                |10B/15          | IB3  Switch/24        | 10A/16              | 2M IB Cab. P/N 530-4403
IB2 Switch/20                |11B/17          | IB3  Switch/24        | 11A/18              | 2M IB Cab. P/N 530-4403
IB2 Switch/20                |8A/31           | IB3  Switch/24        | 8A/31               |2M IB Cab. P/N 530-4403
IB2 Switch/20                |9A/14           | IB3  Switch/24        | 9B/13               |2M IB Cab. P/N 530-4403
IB2 Switch/20                |10A/16          | IB3  Switch/24        | 10B/15              |2M IB Cab. P/N 530-4403
IB2 Switch/20                |11A/18          | IB3  Switch/24        | 11B/17              |2M IB Cab. P/N 530-4403
IB2 Switch/20                |0A/20           |cel14 x427x/41         |Port 2/PCI-e Ch. B   |5M IB Cab. P/N 530-4415
IB2 Switch/20                |0B/19           |cel13 x427x/39         |Port 2/PCI-e Ch. B   |5M IB Cab. P/N 530-4415
IB2 Switch/20                |1A/22           |cel12 x427x/37         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |1B/21           |cel11 x427x/35         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |2A/24           |cel10 x427x/33         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |2B/23           |cel09 x427x/31         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |3A/26           |cel08 x427x/29         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |0A/20           |cel14 x427x/41         |Port 1/PCI-e Ch. A   |5M IB Cab. P/N 530-4415
IB3 Switch/24                |0B/19           |cel13 x427x/39         |Port 1/PCI-e Ch. A   |5M IB Cab. P/N 530-4415
IB3 Switch/24                |1A/22           |cel12 x427x/37         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |1B/21           |cel11 x427x/35         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |2A/24           |cel10 x427x/33         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |2B/23           |cel09 x427x/31         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |3A/26           |cel08 x427x/29         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |3B/25           |db08  x4170/28         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403
IB2 Switch/20                |4A/28           |db07  x4170/27         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403
IB2 Switch/20                |4B/27           |db06  x4170/26         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403   
IB2 Switch/20                |5A/30           |db05  x4170/25         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |3B/25           |db08  x4170/28         |Port 1/PCI-e Ch. A   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |4A/28           |db07  x4170/27         |Port 1/PCI-e Ch. A   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |4B/27           |db06  x4170/26         |Port 1/PCI-e Ch. A   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |5A/30           |db05  x4170/25         |Port 1/PCI-e Ch. A   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |12B/12          | db04  x4170/19        | Port 2/PCI-e Ch. B  | 2M IB Cab. P/N 530-4403
IB3 Switch/24                |13A/9           |db03  x4170/18         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |13B/10          | db02 x4170/17         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |14A/7           |db01  x4170/16         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403
IB2 Switch/20                |12B/12          | db04  x4170/19        | Port 1/PCI-e Ch. A  | 2M IB Cab. P/N 530-4403
IB2 Switch/20                |13A/9           |db03  x4170/18         |Port 1/PCI-e Ch. A   |2M IB Cab. P/N 530-4403
IB2 Switch/20                |13B/10          | db02  x4170/17        | Port 1/PCI-e Ch. A  | 2M IB Cab. P/N 530-4403
IB2 Switch/20                |14A/7           |db01  x4170/16         |Port 1/PCI-e Ch. A   |2M IB Cab. P/N 530-4403
IB3 Switch/24                |14B/8           |cel07  x427x/14        | Port 2/PCI-e Ch. B  | 3M IB Cab. P/N 530-4404
IB3 Switch/24                |15A/5           |cel06  x427x/12        | Port 2/PCI-e Ch. B  | 3M IB Cab. P/N 530-4404
IB3 Switch/24                |15B/6           |cel05  x427x/10        | Port 2/PCI-e Ch. B  | 3M IB Cab. P/N 530-4404
IB3 Switch/24                |16A/3           |cel04  x427x/8         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |16B/4           |cel03  x427x/6         |Port 2/PCI-e Ch. B   |3M IB Cab. P/N 530-4404
IB3 Switch/24                |17A/1           |cel02  x427x/4         |Port 2/PCI-e Ch. B   |5M IB Cab. P/N 530-4415
IB3 Switch/24                |17B/2           |cel01  x427x/2         |Port 2/PCI-e Ch. B   |5M IB Cab. P/N 530-4415
IB2 Switch/20                |14B/8           |cel07  x427x/14        | Port 1/PCI-e Ch. A  | 3M IB Cab. P/N 530-4404
IB2 Switch/20                |15A/5           |cel06  x427x/12        | Port 1/PCI-e Ch. A  | 3M IB Cab. P/N 530-4404
IB2 Switch/20                |15B/6           |cel05  x427x/10        | Port 1/PCI-e Ch. A  | 3M IB Cab. P/N 530-4404
IB2 Switch/20                |16A/3           |cel04  x427x/8         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |16B/4           |cel03  x427x/6         |Port 1/PCI-e Ch. A   |3M IB Cab. P/N 530-4404
IB2 Switch/20                |17A/1           |cel02  x427x/4         |Port 1/PCI-e Ch. A   |5M IB Cab. P/N 530-4415
IB2 Switch/20                |17B/2           |cel01  x427x/2         |Port 1/PCI-e Ch. A   |5M IB Cab. P/N 530-4415



这个列表是截取自“PTR/INT Oracle Exadata Database Machine X2-2, X2-8: Install and Maint.”
是Exadata硬件信息的安装维护文档。


列表中的信息可以根据如下方法解读


IB2 Switch/20                |5A/30           |db05  x4170/25         |Port 2/PCI-e Ch. B   |2M IB Cab. P/N 530-4403       <<<<<<<<IB2 Switch/20  上的接口 5A/30 通过物理线路连接到db05的infiniband卡上
。。。。。。
IB3 Switch/24                |14B/8           |cel07  x427x/14        | Port 2/PCI-e Ch. B  | 3M IB Cab. P/N 530-4404      <<<<<<<<IB3 Switch/24  上的接口  14B/8  通过物理线路连接到cel07的infiniband卡上

这样你就知道具体哪个端口由哪个服务器使用。

如果你正在使用Quarter Rack Exadata有两个computer node和3个cell，所以infiniband 接口上对应的db03以上的接口，以及cell04以上的接口，就是空闲的，暂时没有使用。


可以用命令查看关联。

    在cell或者compute node上执行ibstat，取到端口的GUID


    # ibstat
    CA 'mlx4_0'
            CA type: MT26428
            Number of ports: 2
            Firmware version: 2.7.8130
            Hardware version: b0
            Node GUID: 0x0021280001a0aa8c
            System image GUID: 0x0021280001a0aa8f
            Port 1:
                    State: Active
                    Physical state: LinkUp
                    Rate: 40
                    Base lid: 39
                    LMC: 0
                    SM lid: 61
                    Capability mask: 0x02510868
                    Port GUID: 0x0021280001a0aa8d  <<<<<<<<<<<<<<<<<<<
            Port 2:
                    State: Active
                    Physical state: LinkUp
                    Rate: 40
                    Base lid: 40
                    LMC: 0
                    SM lid: 61
                    Capability mask: 0x02510868
                    Port GUID: 0x0021280001a0aa8e

    查看这个端口连接在交换机上的端口号。

    # ibnetdiscover | grep 21280001a0aa8d
    src/ibnetdisc.c:507; Query remote node (DR path slid 0; dlid 0; 0,1,13,31,14) failed, skipping port
    src/ibnetdisc.c:507; Query remote node (DR path slid 0; dlid 0; 0,1,13,13,14) failed, skipping port
    # Initiated from node 0021280001a0aa8c port 0021280001a0aa8d
    [27]    "H-0021280001a0aa8c"[1](21280001a0aa8d)                 # "dmorldb06 S 192.168.10.6 HCA-1" lid 39 4xQDR
    [1](21280001a0aa8d)     "S-0021284691efa0a0"[27]                # lid 39 lmc 0 "SUN DCS 36P QDR dmorlsw-ib3.us.oracle.com" lid 27 4xQDR

    连接到ib交换机上。

    # ssh dmorlsw-ib3.us.oracle.com
    root@dmorlsw-ib3.us.oracle.com's password:

     找到该端口号映射的物理端口。
    # listlinkup | grep "Switch Port 27"
    Connector  4B Present <-> Switch Port 27 is up (Enabled)
    #

说明这个node的1号IB端口，连接在dmorlsw-ib3的4B端口上。 Enjoy ;)