Tham gia Đăng nhập
Điểm:1
avatar Server

Tính toán số lượng sọc để lưu trữ mã xóa

lá cờ cn
Nicola Mori

Tôi đang thiết lập một cụm ceph (lần đầu tiên đối với tôi), cụm này cuối cùng sẽ được tạo từ ~100 đĩa trải rộng trên 10 máy chủ. Tôi sẽ sử dụng một nhóm dữ liệu được mã hóa tẩy xóa duy nhất để tối đa hóa dung lượng ổ đĩa; hạn chế của tôi là hiệu suất ~80% và khả năng chịu lỗi của 2 đĩa. Điều này có thể đạt được một cách đơn giản nhất với mã xóa k=8 m=2, nhưng cũng có thể với k=16 m=4 với phần thưởng là chịu được tối đa 4 lỗi đĩa.

Do đó, tôi tự hỏi đâu là nhược điểm của việc tăng số lượng sọc; một vài điều xuất hiện trong đầu tôi (ví dụ: tăng CPU và chi phí mạng do tăng phân mảnh tệp) nhưng do kiến ​​​​thức rất kém về chủ đề này nên tôi không chắc.Tôi thực sự đánh giá cao bất kỳ thông tin chi tiết nào về chủ đề này.

47
0 + 0
lá cờ us
eblock
Nếu bạn có 10 máy chủ, tôi khuyên bạn không nên sử dụng tất cả chúng để có một đoạn EC. Trong trường hợp nút bị lỗi, sẽ không thể khôi phục cho đến khi nút trực tuyến trở lại. Tôi khuyên bạn nên sử dụng thứ gì đó như k=6 m=2 nếu bạn muốn duy trì sự cố của 2 đĩa. Trong trường hợp đó, bạn sẽ có hai máy chủ "dự phòng", đây là một thuật ngữ gây hiểu lầm vì tất cả các máy chủ sẽ được sử dụng, tất nhiên. Một cấu hình EC như k=7 m=2 cũng sẽ hoạt động.
0
Hồi đáp
lá cờ cn
Nicola Mori
Cảm ơn đề nghị của bạn. Bạn đang xem xét trường hợp tên miền bị lỗi máy chủ? Tôi đang nghĩ đến việc thiết lập miền lỗi osd vì tôi chủ yếu lo lắng về việc mất đĩa hơn là máy và đó là lý do tại sao tôi quan tâm đến số lượng sọc cao. Tôi cũng lo ngại rằng các máy của tôi có tổng dung lượng osd khác nhau, từ 6 đến 32 TB, vì vậy trong miền máy chủ bị lỗi với số lượng máy chủ gần như đầy, tôi sẽ kết thúc với việc các máy chủ nhỏ thực sự giới hạn dung lượng chung của cụm, phải không?
0
Hồi đáp
lá cờ us
eblock
Chà, đĩa cài đặt hệ điều hành cũng có thể bị lỗi. ;-) Nhưng vâng, tôi đã nghĩ về miền máy chủ bị lỗi, đây là trường hợp thông thường trong tất cả các cụm khách hàng của chúng tôi. Giả định của bạn là chính xác, OSD nhỏ nhất (hoặc đầy đủ nhất) giới hạn dung lượng tổng thể. Tôi không nghĩ nên kết hợp các OSD với sự khác biệt lớn về dung lượng như vậy. Nếu bạn đã tạo các lớp thiết bị khác nhau cho các OSD lớn và nhỏ hơn, điều đó có thể hoạt động nếu bạn tạo nhóm với các lớp thiết bị đó. Nhưng tôi không nghĩ bạn sẽ hài lòng với kết quả nếu bạn đi theo con đường này, bất kể miền lỗi.
0
Hồi đáp
lá cờ cn
Nicola Mori
Tôi có một số máy chủ đĩa ở các độ tuổi và kích thước đĩa khác nhau mà cho đến nay vẫn hoạt động riêng biệt và bây giờ tôi chỉ cần tạo một bộ lưu trữ lớn vì tôi cần một nhóm lớn duy nhất. Vì vậy, tôi sẽ sống với những nhược điểm của sự sắp xếp này, nhưng dù sao cũng cảm ơn vì đã thông báo trước. Quay lại câu hỏi ban đầu của tôi, bạn có thấy vấn đề nghiêm trọng nào trong việc tăng số lượng sọc thậm chí lên đến k=40 m=8 không?
0
Hồi đáp
lá cờ us
eblock
Về cơ bản, đó là yêu cầu của bạn về khả năng phục hồi, nhưng quá nhiều khối dẫn đến tải CPU cao hơn, nó cũng có thể ảnh hưởng đến chi phí lưu trữ của bạn nếu bạn nghĩ về `bluestore_min_alloc_size_hdd`. Nếu bạn có nhiều tệp nhỏ, khối của bạn sẽ chiếm dung lượng nếu bạn không thay đổi kích thước phân bổ. Vì vậy, để kết luận, tôi khuyên bạn không nên sử dụng 48 khối mà nên ở đâu đó trong khoảng từ 8 đến 18 khối. Chúng tôi có một vài khách hàng với nhóm mã xóa, cả 18 khối và 9 khối đều hoạt động khá tốt.
0
Hồi đáp
lá cờ VietNam
Phan Văn Trường
Câu hỏi này là trong các ngôn ngữ khác:

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.