Điểm:0

FIO chậm hơn 17 lần trên ZFS so với thiết bị thô

lá cờ in

Tôi có nhóm ZFS RAIDZ-1 trên ổ SSD 'doanh nghiệp' 4 x 3,84TB SATA3.

zfs tạo rpool/fio
zfs set Primarycache=none rpool/fio

fio --ioengine=sync --filename=[X] --direct=1 --rw=read --bs=4K --numjobs=1 --iodepth=1 --runtime=10 --time_based --name= fio

Kết quả:

--filename=/dev/sdg:        
  đọc: IOPS=25,1k, BW=98,2MiB/s (103MB/s)

--filename=/rpool/fio/testx
  đọc: IOPS=1408, BW=5634KiB/s (5769kB/s)

cấu hình zpool:

TÊN TÀI SẢN GIÁ TRỊ NGUỒN GỐC
hệ thống tập tin loại rpool/fio -
tạo rpool/fio Thứ năm ngày 18 tháng 11 11:04 2021 -
rpool/fio đã sử dụng 30,5G -
rpool/fio có sẵn 9,69T -
rpool/fio được tham chiếu 30,5G -
tỷ lệ nén rpool/fio 1,05x -
rpool/fio được gắn có -
rpool/fio hạn ngạch không có mặc định
đặt trước rpool/fio không có mặc định
kích thước bản ghi rpool/fio 128K mặc định
rpool/fio điểm gắn kết/rpool/fio mặc định
rpool/fio sharenfs tắt mặc định
tổng kiểm tra rpool/fio theo mặc định
nén rpool/fio lz4 cục bộ
rpool/fio tạm thời tắt được kế thừa từ rpool
thiết bị rpool/fio theo mặc định
rpool/fio exec theo mặc định
rpool/fio setuid theo mặc định
rpool/fio chỉ đọc tắt mặc định
rpool/fio được khoanh vùng mặc định
mặc định ẩn rpool/fio snapdir
rpool/fio aclmode loại bỏ mặc định
mặc định hạn chế rpool/fio aclinherit
rpool/fio createtxg 11836 -
rpool/fio canmount theo mặc định
rpool/fio xattr theo mặc định
bản sao rpool/fio 1 mặc định
rpool/fio phiên bản 5 -
rpool/fio utf8chỉ tắt -
chuẩn hóa rpool/fio không có -
rpool/fio phân biệt chữ hoa chữ thường -
rpool/fio vscan tắt mặc định
rpool/fio nbman và tắt mặc định
rpool/fio sharemb tắt mặc định
rpool/fio refquota không có mặc định
đặt lại rpool/fio không có mặc định
hướng dẫn rpool/fio 11473612800347485365 -
rpool/fio Primarycache không cục bộ
rpool/fio secondarycache tất cả mặc định
rpool/fio usedbysnapshots 0B -
rpool/fio usedbydataset 30.5G -
rpool/fio usedbychildren 0B -
rpool/fio usedbyreservation 0B -
độ trễ mặc định của rpool/fio logbias
rpool/fio objsetid 9843 -
rpool/fio deup tắt mặc định
rpool/fio mlslabel không có mặc định
tiêu chuẩn đồng bộ hóa rpool/fio kế thừa từ rpool
rpool/fio dnodesize mặc định kế thừa
rpool/fio refcompressratio 1.05x -
rpool/fio được viết 30,5G -
rpool/fio logicused 32.0G -
rpool/fio tham chiếu logic 32.0G -
rpool/fio volmode mặc định mặc định
rpool/fio filesystem_limit không có mặc định
rpool/fio snapshot_limit không có mặc định
rpool/fio filesystem_count không có mặc định
rpool/fio snapshot_count không có mặc định
rpool/fio snapdev ẩn mặc định
rpool/fio acltype tắt mặc định
bối cảnh rpool/fio không có mặc định
rpool/fio fscontext không có mặc định
rpool/fio defcontext không có mặc định
rpool/fio rootcontext không có mặc định
rpool/fio relatime tắt mặc định
rpool/fio Reddred_metadata tất cả mặc định
lớp phủ rpool/fio theo mặc định
mã hóa rpool/fio tắt mặc định
rpool/fio keylocation không có mặc định
rpool/fio keyformat không có mặc định
rpool/fio pbkdf2iters 0 mặc định
rpool/fio special_small_blocks 0 mặc định

Có vấn đề gì với bài kiểm tra hoặc ZFS không? Mọi lời khuyên/thông tin chi tiết được đánh giá cao! Cảm ơn.

CẬP NHẬT 1:

Tôi đã cập nhật thử nghiệm ban đầu thành --bs=4K và câu chuyện nhìn chung vẫn giữ nguyên... Thử nghiệm trên thiết bị thô có hợp lệ không?

CẬP NHẬT 2:

Có vẻ như tôi nhận được một bức tranh khác với zpool đến fio đầu ra. Tôi đã điều chỉnh fio kiểm tra randion r/w với 64 tác vụ, điều này sẽ tiết lộ điểm chuẩn SSD 'thực tế' hơn. Lưu ý rằng hệ thống không có khối lượng công việc nào khác.

Trên SSD:

fio --ioengine=libaio --filename=/rpool/fio/testx --size=4G --time_based --name=fio --group_reporting --runtime=10 --direct=1 --sync=1 --iodepth =1 --rw=randrw --bs=4K --numjobs=64

đọc: IOPS=4022, BW=15,7MiB/s (16,5MB/s)
ghi: IOPS=4042, BW=15,8MiB/s (16,6MB/s)


# zpool iostat -vy rpool 5 1
                                                        năng lực hoạt động băng thông 
pool phân bổ miễn phí đọc ghi đọc ghi
--------------------------------------------- -- ----- ----- ----- ----- ----- ----- -----
rpool 216G 27.7T 28.1K 14.5K 1.17G 706M
  radiz1 195G 13.8T 13.9K 7.26K 595M 358M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730BAV3P8EGN-part3 - - 3.60K 1.73K 159M 90.3M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730B9Q3P8EGN-part3 - - 3.65K 1.82K 150M 89.0M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730B9G3P8EGN-part3 - - 3.35K 1.83K 147M 90.0M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730BAT3P8EGN-part3 - - 3.34K 1.89K 139M 88.4M
  đột kích1 21.3G 13.9T 14.2K 7.21K 604M 348M
    sde - - 3.39K 1.81K 149M 87.5M
    sdf - - 3.35K 1.90K 139M 86.3M
    sdg - - 3.71K 1.70K 163M 87.8M
    sdh - - 3.69K 1.81K 152M 86.4M
--------------------------------------------- -- ----- ----- ----- ----- ----- ----- -----

Trên ổ cứng:

đọc: IOPS=1382, BW=5531KiB/giây
viết: IOPS=1385, BW=5542KiB/s

$ zpool iostat -vy rpool 5 1
                                    năng lực hoạt động băng thông 
pool phân bổ miễn phí đọc ghi đọc ghi
-------------------------------- ----- ----- ----- --- -- ----- -----
rpool 160G 18.0T 3.07K 2.71K 393M 228M
  gương 32.2G 3.59T 624 589 78.0M 40.2M
    scsi-35000c500de5c67f7-part3 - - 321 295 40,1M 20,4M
    scsi-35000c500de75a863-part3 - - 303 293 37,9M 19,7M
  gương 31.9G 3.59T 625 551 78.2M 49.9M
    scsi-35000c500de2bd6bb-part3 - - 313 274 39,1M 24,2M
    scsi-35000c500de5ae5a7-part3 - - 312 277 39,0M 25,7M
  gương 32.2G 3.59T 648 548 81.1M 45.9M
    scsi-35000c500de5ae667-part3 - - 320 279 40,1M 23,0M
    scsi-35000c500de2bd2d3-part3 - - 328 268 41,0M 23,0M
  gương 31.6G 3.59T 612 536 76.5M 45.5M
    scsi-35000c500de5ef20f-part3 - - 301 266 37,7M 22,7M
    scsi-35000c500de5edbfb-part3 - - 310 269 38,9M 22,8M
  gương 32.0G 3.59T 629 555 78.7M 46.5M
    scsi-35000c500de5c6f7f-part3 - - 318 283 39,8M 23,1M
    scsi-35000c500de5c6c5f-part3 - - 311 272 38,9M 23,4M
-------------------------------- ----- ----- ----- --- -- ----- -----

Hiệu suất trên mỗi thiết bị trông ổn trên ổ cứng và ổ SSD có vẻ nhanh hơn khoảng 5 lần so với ổ cứng trong r/w ngẫu nhiên. Đó có phải là mong đợi? Tôi đã mong đợi nhanh hơn 10-100 lần ...

Cảm ơn đã quan tâm!

Nikita Kipriyanov avatar
lá cờ za
Bạn có chắc chắn muốn sử dụng công cụ I/O `sync` không?
shodanshok avatar
lá cờ ca
Vui lòng tạo lại nhóm của bạn với `-o ashift=12`. Ngoài ra, vui lòng thử với `recordsize=16K`
simonw avatar
lá cờ in
Cảm ơn @shodanshok ashift là 12 và đặt kích thước bản ghi thành 16k mang lại kết quả tương tự.
simonw avatar
lá cờ in
Cảm ơn @NikitaKipriyanov kết quả tương tự với libaio.
Romeo Ninov avatar
lá cờ in
Bạn có thể thử loại bỏ nén của hồ bơi
simonw avatar
lá cờ in
Cảm ơn @RomeoNinov Tôi đã thử điều đó, kết quả tương tự!...
batistuta09 avatar
lá cờ vn
21k IOPS trên 128k khối không phải là kết quả hợp lệ đối với SSD SATA đơn. Nó có nghĩa là khoảng. Thông lượng 2,6GB/giây, gấp 5 lần cổng SATA đơn lẻ mang lại.
lá cờ us
Bạn không nên sử dụng RAID đơn chẵn lẻ nếu bạn muốn giữ an toàn cho dữ liệu của mình.

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.