Ghi song song NVMe

Tôi đang cố gắng hiểu rõ hơn về cách tối ưu hóa việc ghi vào NVMe.

Tôi có một quy trình ghi một lượng lớn dữ liệu vào đĩa (~ 100 gb) trong một tác vụ hàng loạt. Dữ liệu được trải rộng trên 100 tệp.

Tôi có sẵn nhiều đĩa NVMe và sẽ ghi song song các tệp riêng biệt trong một quy trình bằng nhiều luồng (~10).

Hiện tại, tất cả dữ liệu được ghi vào một đĩa NVMe duy nhất, tôi tự hỏi liệu có thể đạt được cải thiện hiệu suất tiềm năng bằng cách ghi dữ liệu trên nhiều đĩa song song hay liệu một thiết bị NVMe có thể tự xử lý ghi song song không?

Đánh giá cao bất kỳ đầu vào

Chắc chắn là NVMe thông số kỹ thuật cho phép một cái gì đó như 64k hàng đợi, mỗi hàng có thể chứa 64k mục - vì vậy bản thân thông số kỹ thuật cho phép một số hoạt động đồng thời rất cao cấp - ổ đĩa thực tế có hỗ trợ nhiều hay không là một điều khác nhưng chắc chắn chúng sẽ hỗ trợ hàng trăm hàng đợi và hàng trăm mục hàng đợi. Tất cả điều này sẽ giúp ích.

Điều đó nói rằng bản năng là nhiều ổ đĩa hơn sẽ tốt hơn nhưng nó thực sự phụ thuộc vào mức độ tràn ngập của PCIe/PCH - nếu có nhiều ghi ít thì có khả năng xe buýt không hoàn toàn bận nên việc bôi nhọ trên nhiều đĩa có thể hữu ích một chút, nhưng nếu nó được sử dụng đầy đủ, như bạn có thể thấy trong quá trình ghi tuần tự lớn, thì một đĩa có thể nhanh như nhiều đĩa.

Tất nhiên, đây là tất cả trước khi bạn xem xét những thứ như RAID 1/10 hoặc 0 và tác động có thể xảy ra - lý tưởng nhất là bạn muốn một thứ như vậy để có khả năng phục hồi.

Cuối cùng, bạn nên kiểm tra điều này, đó là câu trả lời thích hợp nhưng nó phụ thuộc vào số lượng ổ đĩa và thời gian bạn phải thực hiện kiểm tra - nhưng đó là cách duy nhất để thực sự biết.