Đã tìm kiếm trong một thời gian và không thể tìm thấy câu trả lời hoặc thậm chí hướng dẫn để mong đợi.
Cho nên. Cụm ba máy chủ XCP-NG HP DL360p G8, MSA 2060 iSCSI NAS với 12 ổ SAS 10K, QNAP TS-1273U-RP, switch Mikrotik CRS317. Mạng lưu trữ nằm trong cầu chuyên dụng trong mikrotik. Tất cả các thiết bị được kết nối với cáp đồng 3 mét. Tất cả các thiết bị hiển thị liên kết đó là 10G. Tôi thậm chí đã định cấu hình MTU thành 9000 cho tất cả các thiết bị. Mỗi máy chủ có thẻ Ethernet với hai giao diện. Một chỉ được sử dụng cho mạng lưu trữ (eth1 trên cả ba máy chủ). Mạng con khác nhau cho mạng lưu trữ và mạng quản lý. Phụ trợ mạng Xen là openvswitch.
Khung Jumbo đang hoạt động:
ping -M do -s 8972 -c 2 10.100.200.10 -- QNAP
PING 10.100.200.10 (10.100.200.10) 8972(9000) byte dữ liệu.
8980 byte từ 10.100.200.10: icmp_seq=1 ttl=64 time=1,01 ms
8980 byte từ 10.100.200.10: icmp_seq=2 ttl=64 time=0,349 ms
--- Thống kê ping 10.100.200.10 ---
Truyền 2 gói, nhận 2 gói, mất gói 0%, thời gian 1001ms
rtt tối thiểu/trung bình/tối đa/mdev = 0,349/0,682/1,015/0,333 mili giây
ping -M do -s 8972 -c 2 10.100.200.8 -- MSA 2060
PING 10.100.200.8 (10.100.200.8) 8972(9000) byte dữ liệu.
8980 byte từ 10.100.200.8: icmp_seq=1 ttl=64 time=9,83 ms
8980 byte từ 10.100.200.8: icmp_seq=2 ttl=64 time=0,215 ms
--- Thống kê ping 10.100.200.8 ---
Truyền 2 gói, nhận 2 gói, mất gói 0%, thời gian 1001ms
rtt tối thiểu/trung bình/tối đa/mdev = 0,215/5,023/9,832/4,809 mili giây
Vấn đề: khi tôi sao chép máy ảo từ một bộ lưu trữ (QNAP) sang một bộ lưu trữ khác (MSA), tốc độ ghi là khoảng 45MB/s. Khi tôi sao chép một số tệp lớn từ QNAP (ví dụ: cài đặt iso) sang bộ nhớ cục bộ của máy chủ, tốc độ là khoảng 100MB/s và trong máy chủ đó htop hiển thị một lõi với 100% tải
Rõ ràng là mạng đang hoạt động giống như mạng 1G.
Một số thông tin về phần cứng.
ethtool -i eth1
tài xế: ixgbe
phiên bản: 5.5.2
phiên bản phần sụn: 0x18b30001
mở rộng-rom-phiên bản:
thông tin xe buýt: 0000:07:00.1
hỗ trợ-thống kê: có
hỗ trợ-kiểm tra: có
hỗ trợ-eeprom-truy cập: có
hỗ trợ-đăng ký-kết xuất: có
hỗ trợ-priv-flags: có
ethtool eth1
Cài đặt cho eth1:
Các cổng được hỗ trợ: [ FIBER ]
Các chế độ liên kết được hỗ trợ: 10000baseT/Full
Sử dụng khung tạm dừng được hỗ trợ: Đối xứng
Hỗ trợ tự động đàm phán: Không
Các chế độ FEC được hỗ trợ: Không được báo cáo
Các chế độ liên kết được quảng cáo: 10000baseT/Đầy đủ
Sử dụng khung tạm dừng được quảng cáo: Đối xứng
Quảng cáo tự động đàm phán: Không
Các chế độ FEC được quảng cáo: Không được báo cáo
Tốc độ: 10000Mb/giây
Song công: Đầy đủ
Cổng: Đồng đính kèm trực tiếp
PHYAD: 0
Bộ thu phát: nội bộ
Tự động đàm phán: tắt
Hỗ trợ Wake-on :d
Dậy đi :d
Mức tin nhắn hiện tại: 0x00000007 (7)
liên kết thăm dò drv
Đã phát hiện liên kết: có
lspci | lưới grep
07:00.0 Bộ điều khiển Ethernet: Kết nối mạng 10-Gigabit SFI/SFP+ của Intel Corporation (rev 01)
07:00.1 Bộ điều khiển Ethernet: Intel Corporation 82599ES Kết nối mạng 10-Gigabit SFI/SFP+ (rev 01)
Sau đó, tôi chạy máy chủ iper3 trên máy chủ này: iperf3 -s -4
Kết quả trên máy chủ lưu trữ:
[ ID] Băng thông truyền khoảng thời gian
[ 5] 0,00-10,04 giây 0,00 byte 0,00 bit/giây người gửi
[ 5] 0,00-10,04 giây Bộ thu 5,48 GByte 4,69 Gbits/giây
[ 7] 0,00-10,04 giây 0,00 byte 0,00 bit/giây người gửi
[ 7] 0,00-10,04 giây Bộ thu 5,44 GByte 4,66 Gbits/giây
[SUM] 0,00-10,04 giây 0,00 byte 0,00 bit/giây người gửi
[SUM] 0,00-10,04 giây 10,9 GByte Bộ thu 9,35 Gbits/giây
Và khách hàng trên một máy chủ khác: iperf3 -c 10.100.200.20 -P 2 -t 10 -4
Kết quả trên máy khách:
[ ID] Truy xuất lại băng thông truyền theo khoảng thời gian
[ 4] 0,00-10,00 giây 5,49 GByte 4,72 Gbits/giây 112 người gửi
[ 4] 0,00-10,00 giây Bộ thu 5,48 GByte 4,71 Gbits/giây
[ 6] 0,00-10,00 giây 5,45 GByte 4,68 Gbits/giây 178 người gửi
[ 6] 0,00-10,00 giây Bộ thu 5,44 GByte 4,67 Gbits/giây
[SUM] 0,00-10,00 giây 10,9 GByte 9,40 Gbits/giây 290 người gửi
[SUM] 0,00-10,00 giây 10,9 GByte Bộ thu 9,38 Gbits/giây
Kiểm tra cái gì tiếp theo hoặc làm thế nào để tìm nút cổ chai?
iperf3 cho thấy rằng liên kết đang hoạt động với tốc độ 10Gbit hoặc tôi giải thích kết quả không chính xác?
Phiên bản phần mềm:
xe host-list params=software-version
phiên bản phần mềm (MRO): product_version: 8.2.0; sản_phẩm_phiên_bản: 8.2; sản_phẩm_văn_bản_ngắn: 8.2; platform_name: XCP; nền tảng_phiên bản: 3.2.0; sản phẩm_thương hiệu: XCP-ng; build_number: phát hành/stockholm/master/7; tên máy chủ: máy chủ cục bộ; ngày: 2021-05-20; dbv: 0.0.1; xapi: 1,20; xen: 4.13.1-9.11.1; linux: 4.19.0+1; xencenter_min: 2.16; xencenter_max: 2,16; mạng_phụ trợ: openvswitch; db_schema: 5.602
phiên bản phần mềm (MRO): product_version: 8.2.0; sản_phẩm_phiên_bản: 8.2; sản_phẩm_văn_bản_ngắn: 8.2; platform_name: XCP; nền tảng_phiên bản: 3.2.0; sản phẩm_thương hiệu: XCP-ng; build_number: phát hành/stockholm/master/7; tên máy chủ: máy chủ cục bộ; ngày: 2021-05-20; dbv: 0.0.1; xapi: 1,20; xen: 4.13.1-9.11.1; linux: 4.19.0+1; xencenter_min: 2.16; xencenter_max: 2,16; mạng_phụ trợ: openvswitch; db_schema: 5.602
phiên bản phần mềm (MRO): product_version: 8.2.0; sản_phẩm_phiên_bản: 8.2; sản_phẩm_văn_bản_ngắn: 8.2; platform_name: XCP; nền tảng_phiên bản: 3.2.0; sản phẩm_thương hiệu: XCP-ng; build_number: phát hành/stockholm/master/7; tên máy chủ: máy chủ cục bộ; ngày: 2021-05-20; dbv: 0.0.1; xapi: 1,20; xen: 4.13.1-9.11.1; linux: 4.19.0+1; xencenter_min: 2.16; xencenter_max: 2,16; mạng_phụ trợ: openvswitch; db_schema: 5.602
Hai máy chủ khác có thẻ HP 530FLR-SFP+:
lspci | lưới grep
03:00.0 Bộ điều khiển Ethernet: Broadcom Inc. và các công ty con NetXtreme II BCM57810 10 Gigabit Ethernet (rev 10)
03:00.1 Bộ điều khiển Ethernet: Broadcom Inc. và các công ty con NetXtreme II BCM57810 10 Gigabit Ethernet (rev 10)
ethtool -i eth1
tài xế: bnx2x
phiên bản: 1.714.24 bão 7.13.11.0
phiên bản phần sụn: bc 7.10.10
mở rộng-rom-phiên bản:
thông tin xe buýt: 0000:03:00.1
hỗ trợ-thống kê: có
hỗ trợ-kiểm tra: có
hỗ trợ-eeprom-truy cập: có
hỗ trợ-đăng ký-kết xuất: có
hỗ trợ-priv-flags: có
ethtool eth1
Cài đặt cho eth1:
Các cổng được hỗ trợ: [ FIBER ]
Các chế độ liên kết được hỗ trợ: 1000baseT/Full
10000baseT/Đầy đủ
Sử dụng khung tạm dừng được hỗ trợ: Chỉ nhận đối xứng
Hỗ trợ tự động đàm phán: Không
Các chế độ FEC được hỗ trợ: Không được báo cáo
Các chế độ liên kết được quảng cáo: 10000baseT/Đầy đủ
Sử dụng khung tạm dừng được quảng cáo: Không
Quảng cáo tự động đàm phán: Không
Các chế độ FEC được quảng cáo: Không được báo cáo
Tốc độ: 10000Mb/giây
Song công: Đầy đủ
Cổng: Đồng đính kèm trực tiếp
PHYAD: 1
Bộ thu phát: nội bộ
Tự động đàm phán: tắt
Hỗ trợ Wake-on: g
Thức dậy: g
Mức tin nhắn hiện tại: 0x00000000 (0)
Đã phát hiện liên kết: có
Chỉnh sửa 1:
Kiểm tra lưu trữ cục bộ:
dmesg | grep sda
[ 13.093002] sd 0:1:0:0: [sda] 860051248 Khối logic 512 byte: (440 GB/410 GiB)
[ 13.093077] sd 0:1:0:0: [sda] Write Protect bị tắt
[ 13.093080] sd 0:1:0:0: [sda] Cảm nhận chế độ: 73 00 00 08
[ 13.093232] sd 0:1:0:0: [sda] Ghi bộ đệm: bị tắt, đọc bộ đệm: đã bật, không hỗ trợ DPO hoặc FUA
[ 13.112781] sda: sda1 sda2 sda3 sda4 sda5 sda6
[ 13.114348] sd 0:1:0:0: [sda] Đĩa SCSI đính kèm
[ 15.267456] EXT4-fs (sda1): gắn hệ thống tệp ext3 bằng hệ thống con ext4
[ 15.268750] EXT4-fs (sda1): hệ thống tệp được gắn với chế độ dữ liệu được sắp xếp. Lựa chọn: (không)
[ 17.597243] EXT4-fs (sda1): được gắn lại. Lựa chọn: (không)
[ 18.991998] Thêm hoán đổi 1048572k trên /dev/sda6. Mức độ ưu tiên:-2 phạm vi:1 trên:1048572k
[ 19.279706] EXT4-fs (sda5): gắn hệ thống tệp ext3 bằng hệ thống con ext4
[ 19.281346] EXT4-fs (sda5): hệ thống tệp được gắn với chế độ dữ liệu được sắp xếp. Lựa chọn: (không)
dd if=/dev/sda of=/dev/null bs=1024 đếm=1000000
1000000+0 bản ghi trong
1000000+0 bản ghi ra
Đã sao chép 1024000000 byte (1,0 GB), 11,1072 giây, 92,2 MB/giây
Điều này là lạ, bởi vì máy chủ có Bộ điều khiển Smart Array P420i với bộ đệm 2GB, phần cứng đột kích10 của 6 ổ đĩa 146GB 15k SAS. iLo cho thấy rằng tất cả đều ổn với dung lượng lưu trữ. Trên máy chủ khác, kết quả cũng tương tự Đã sao chép 1024000000 byte (1,0 GB), 11,8031 giây, 86,8 MB/giây
Chỉnh sửa 2 (Kiểm tra bộ nhớ dùng chung):
Qnap (SSD Raid10):
dd if=/run/sr-mount/23d45731-c005-8ad6-a596-bab2d12ec6b5/01ce9f2e-c5b1-4ba8-b783-d3a5c1ac54f0.vhd of=/dev/null bs=1024 đếm=1000000
1000000+0 hồ sơ trong
1000000+0 bản ghi ra
Đã sao chép 1024000000 byte (1,0 GB), 11,2902 giây, 90,7 MB/giây
MSA (đột kích HP MSA-DP+):
dd if=/dev/mapper/3600c0ff000647bc2259a2f6101000000 of=/dev/null bs=1024 đếm=1000000
1000000+0 hồ sơ trong
1000000+0 bản ghi ra
Đã sao chép 1024000000 byte (1,0 GB), 11,3974 giây, 89,8 MB/giây
Không quá 1 mạng Gigabit ...
Vì vậy, nếu tôi chuyển hình ảnh VM giữa bộ nhớ dùng chung, thì bộ nhớ cục bộ sẽ không liên quan. openvswitch có thể bị tắc nghẽn không?
Chỉnh sửa 3 (Thêm kiểm tra đĩa):
sda = Raid10 của 6 x 146GB 15k sas, sdb = một 146GB 15k SAS trong đột kích0
dd if=/dev/sdb of=/dev/null bs=1024 đếm=1000000
1000000+0 hồ sơ trong
1000000+0 bản ghi ra
Đã sao chép 1024000000 byte (1,0 GB), 16,5326 giây, 61,9 MB/giây
[14:35 xcp-ng-em ssh]# dd if=/dev/sdb of=/dev/null bs=512k count=1000
1000+0 hồ sơ trong
1000+0 bản ghi ra
Đã sao chép 524288000 byte (524 MB), 8,48061 giây, 61,8 MB/giây
[14:36 xcp-ng-em ssh]# dd if=/dev/sdb of=/dev/null bs=512k count=10000
10000+0 bản ghi trong
10000+0 bản ghi ra
Đã sao chép 5242880000 byte (5,2 GB), 84,9631 giây, 61,7 MB/giây
[14:37 xcp-ng-em ssh]# dd if=/dev/sda of=/dev/null bs=512k count=10000
10000+0 bản ghi trong
10000+0 bản ghi ra
Đã sao chép 5242880000 byte (5,2 GB), 7,03023 giây, 746 MB/giây
