Hiệu suất ZFS: Tốc độ ghi cực thấp

Tôi đang chạy một máy chủ gia đình nhỏ. Thông số kỹ thuật là:

• CPU: AMD Ryzen 5 2600
• RAM: 32GB ECC
• Ổ đĩa hệ thống: SSD NVMe 128GB
• Ổ dữ liệu: 3x 4 TB Seagate Barracuda HDD

Máy chủ chạy một số ứng dụng như Nextcloud hoặc Gitea và tôi muốn chạy 1-2 máy ảo trên đó. Vì vậy, có một số ứng dụng web, cơ sở dữ liệu và máy ảo.

Các ứng dụng và hình ảnh qcow2 được lưu trữ trên nhóm raidz1:

$ sudo trạng thái zpool
  hồ bơi: bể
 trạng thái: TRỰC TUYẾN
cấu hình:

        TÊN BANG ĐỌC VIẾT CKSUM
        xe tăng TRỰC TUYẾN 0 0 0
          radz1-0 TRỰC TUYẾN 0 0 0
            sdb TRỰC TUYẾN 0 0 0
            sdc TRỰC TUYẾN 0 0 0
            sdd TRỰC TUYẾN 0 0 0

lỗi: Không có lỗi dữ liệu đã biết

Khi tôi sử dụng các ứng dụng trong những tuần đầu tiên, tôi không gặp vấn đề gì. Nhưng kể từ vài tuần, tôi nhận ra tốc độ ghi cực kỳ thấp. Phiên bản nextcloud không nhanh lắm và khi tôi cố gắng khởi động một máy ảo mới với Windows 10, nó cần khoảng 5 phút để đến màn hình đăng nhập.

Tôi đã thực hiện một số thử nghiệm hiệu suất bằng cách sử dụng fio và thu được kết quả như sau:

Tôi đã thực hiện một số nghiên cứu trước khi đăng ở đây và đọc rằng tôi nên thêm một SLOG vào nhóm zfs để có hiệu suất tốt hơn với cơ sở dữ liệu và máy ảo. Nhưng đó không phải là lựa chọn vào lúc này. Tôi cần nhận quà giáng sinh trước :D

Nhưng ngay cả khi không có SLOG, tôi không nghĩ những con số này là chính xác :(

Có ai có ý tưởng gì không? :)

As a first-order approximation raidz provides the random performances of a single disk, which for a 7.2K HDD are about 70 IOPS. Your test shows 50% less IOPS (ie: ~30 vs ~70) and this can be explained with the relatively large recordsize you selected.

Especially for random writes, any recordsize larger than 4KB is going to face considerable read/modify/write penalty. Please note that I am not advocating for using such a small recordsize on mechanical disks as it commands a very high metadata overhead, high fragmentation and (almost) no compression. As a reference, when using HDDs I leave the default (128KB) recordsize even for virtualization hosts.

You can do the following to improve performance:

• use mirror vs raidz where applicable (but you only have 3 disks, preventing the use of mirroring+striping)
• use RAW image files rather than QCOW2 (if QCOW2 files really are required, be sure to preallocate their metadata)
• try setting sync=disabled (but be sure to understand that in case of sudden power loss your system will lose up to 5s of written data)