Điểm:0

ZFS/Zpool với mức sử dụng đĩa hạn chế?

lá cờ ve

Tôi có một máy chủ có ổ đĩa JBOD gồm 36 x 14TB có tổng dung lượng sử dụng là 12,7TB (Đĩa là WUH721414AL5201)

Tôi đã tạo hai zpool:

  • zpool1 chứa 3 vdev (Mỗi người trong số họ có 8 đĩa và là RAIDz-1) với nhóm có 3 phụ tùng nóng.

  hồ bơi: zpool1
 trạng thái: TRỰC TUYẾN
cấu hình:

        TÊN BANG ĐỌC VIẾT CKSUM
        zpool1 TRỰC TUYẾN 0 0 0
          radz1-0 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
          radiz1-1 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
          radz1-2 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
        phụ tùng
          scsi-35000 CÓ SẴN
          scsi-35000 CÓ SẴN
          scsi-35000 CÓ SẴN

  • zpool2 chứa 1 vdev (Có 9 đĩa và là RAIDz-2)

hồ bơi: zpool2
 trạng thái: TRỰC TUYẾN
cấu hình:

        TÊN BANG ĐỌC VIẾT CKSUM
        zpool2 TRỰC TUYẾN 0 0 0
          radiz2-0 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0
            scsi-35000 TRỰC TUYẾN 0 0 0


Như bạn có thể thấy, theo zfs, tổng kích thước có thể sử dụng của zpool1 là ~306TB và zpool2 là ~115tb với cả hai nhóm đều tuyên bố có nhiều TB dung lượng trống.


gốc:~# danh sách zpool
TÊN KÍCH THƯỚC PHÂN PHỐI CKPOINT MIỄN PHÍ MỞ RỘNGZ FRAG CAP DEDUP HEALTH ALTROOT
zpool1 306T 296T 9,55T - - 47% 96% 1,00x TRỰC TUYẾN -
zpool2 115T 110T 4,46T - - 26% 96% 1,00x TRỰC TUYẾN -

Tuy nhiên, khi tôi chạy df -h, tôi nhận được như sau:

gốc:~# df -h
Kích thước hệ thống tệp được sử dụng Sẵn có Sử dụng % Được gắn trên
zpool1 250T 250T 5,5 triệu 100%/zpool1
zpool2 85T 84T 684G 100%/zpool2

Điều này được sao lưu bởi các ngoại lệ đầy đủ của hệ thống tập tin ném đĩa khi tôi cố gắng thêm dữ liệu nữa vào nhóm.

Ai đó có thể vui lòng xác nhận nếu có một số giới hạn mà tôi gặp phải trên linux hoặc zfs không? Suy nghĩ ban đầu của tôi là có giới hạn 250TB, tuy nhiên điều đó không giải thích được tại sao zpool2 cũng đạt 100% công suất khi chỉ có 85TB dữ liệu trong nhóm.

Nếu tính toán của tôi là chính xác thì pool1 phải có ít nhất 266,7TB dung lượng khả dụng và pool2 phải có 88,9TB, dựa trên các tính toán sau:

hồ bơi1: 3 x radz-1 vdev (8 đĩa, 7 có thể sử dụng) = 7 * 3 = 21 đĩa * 12,7TB mỗi đĩa = 266,7

hồ bơi2: 1 x radz-2 vdev (9 đĩa, 7 có thể sử dụng) = 7 * 12,7TB mỗi cái = 88,9TB

Tái bút: Xin lỗi vì một bài đăng dài như vậy, tôi còn khá mới với việc lưu trữ nên tôi đã cố gắng giải thích càng nhiều càng tốt (Có thể hơi nhiều!)

Đã thêm cho Zoredache:

gốc:~# danh sách zfs
TÊN ĐÃ SỬ DỤNG CÓ SẴN THAM KHẢO MOUNTPOINT
zpool1 249T 2,45M 249T /zpool1
zpool2 83,9T 683G 83,9T /zpool2

Điểm:2
lá cờ in

The df command is an ancient tool, and doesn't doesn't really understand ZFS, the output from df for a ZFS filessytem is close to worthless. ZFS has more complicated allocation then what the df command understands. ZFS has features like snapshots, compression, de-duplication and more that all impact the usage and available capacity but will not change the apparent usage from perspective of 'df'.

You should be using zfs list and zpool list to inspect pools and zfs filesystems. Your zpool output clearly shows you are nearing the maximum capacity. The zfs list command will give more you details per dataset.

Also consider datasets can have quotas. They will have certain amounts of space reserved for critical filesystem storage to prevent your system from crashing.

Related, you shouldn't let your pools get to the point where they are as full as your that full. It will hurt the performance of your pools.

Birdy avatar
lá cờ ve
Cảm ơn bạn vì câu trả lời chi tiết, trong một thế giới lý tưởng, tôi sẽ khôi phục thiết lập zfs ban đầu để cơ cấu lại nó nhưng thật không may, chúng tôi không có thêm 500TB khởi động :-( và như bạn nói ... hiệu suất ZFS có khả năng bị ảnh hưởng đặc biệt khi danh sách zfs hiển thị như sau: NAME USED AVAIL REFER MOUNTPOINT zpool1 249T 2,45M 249T /zpool1 zpool2 83,9T 683G 83,9T /zpool2

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.