Cấu hình định tuyến cổng N-to-N của Infiniband OpenSM

Tôi có 10 máy chủ với mỗi máy chủ có hai CPU và một Mellanox 100G Infiniband NIC cho mỗi CPU. Mỗi NIC được kết nối với một bộ chuyển mạch Mellanox 36 cổng 100G IB duy nhất.

Ứng dụng RDMA của tôi chạy dưới dạng một quy trình trên mỗi nút NUMA và liên kết với NIC cục bộ để tránh lưu lượng CPU chéo. Mỗi nút/quy trình cần kết nối với mọi nút khác bằng chế độ RC.

Vấn đề tôi gặp phải là, có vẻ như định tuyến OpenSM mặc định buộc tôi phải sử dụng một NIC nhất định để đến một nút mục tiêu nhất định. Vì vậy, tôi sẽ phải sử dụng cả hai NIC từ cả hai nút NUMA để tiếp cận tất cả các nút khác. Điều đó có nghĩa là tôi cũng sẽ cần hai PD, phải đăng ký tất cả bộ nhớ hai lần.

Có cách nào để cho phép một NIC duy nhất có thể kết nối với bất kỳ NIC/cổng nào khác trên mạng không?

Về cơ bản, tôi muốn làm cho OpenSM nghĩ rằng mỗi NIC nằm trên máy chủ của chính nó, tức là. giả vờ rằng không thể có lưu lượng truy cập QPI.

Nhìn thấy: https://docs.mellanox.com/display/MLNXOFEDv461000/OpenSM

Khi ma trận MinHop tồn tại, mỗi công tắc được truy cập và đối với mỗi LID mục tiêu, một quyết định được đưa ra là cổng nào sẽ được sử dụng để truy cập LID đó.

Mã có liên quan: https://github.com/linux-rdma/opensm/blob/844ab3b7edaad983449b5d3a4a773088b8daa299/opensm/osm_ucast_mgr.c#L201

https://community.mellanox.com/s/question/0D51T00006RVtlU/rdmacm-connection-setup-issues

Đối với hồ sơ, vấn đề đã được giải quyết phần lớn bằng cách đảm bảo dịch vụ ibacm (Trình quản lý giao tiếp hỗ trợ Infiniband) đang chạy trên tất cả các máy chủ.

Đang chạy sudo ibacm trên tất cả các máy chủ đã giải quyết được sự cố, đừng hỏi tôi tại sao ...