hệ thống tệp tốt nhất cho hàng triệu tệp

Bạn sẽ chọn hệ thống tệp/thiết lập Linux nào để có tốc độ tốt nhất trong trường hợp sau:

vài triệu tập tin Kích thước tệp trung bình ~3mb truy cập ngẫu nhiên vào tập tin cần lấy danh sách tất cả các tệp thường xuyên ghi liên tục các tập tin mới liên tục đọc các tập tin cũ

Điều thực sự quan trọng là cách bạn tổ chức tập tin của bạn.

Nếu bạn dự định có một thư mục lớn duy nhất với ~ 10 triệu tệp thì bất kỳ hệ thống tệp nào cũng sẽ bị ảnh hưởng, mặc dù XFS và ZFS sẽ quản lý khá tốt ngay cả trong trường hợp xấu nhất này.

Phương pháp được khuyến nghị là tổ chức các tệp của bạn trong nhiều thư mục nhỏ hơn, với số lượng tệp hợp lý (~32K) để tránh các vấn đề khác nhau nhưng có liên quan (ví dụ: ls đã từng rất chậm đối với các thư mục lớn).

Nếu điều này là không thể, tôi sẽ sử dụng XFS hoặc ZFS nhưng chỉ sau khi đã mô phỏng tải dự định trên thiết lập thử nghiệm (lưu ý: ngay cả EXT4 cũng sẽ có hiệu suất tốt, nhưng bạn có thể đạt đến giới hạn inode).

Từ những gì bạn mô tả XFS là một kết hợp phù hợp. Nó được tạo ra để xử lý hàng tỷ tệp.Tuy nhiên, bạn sẽ phải suy nghĩ về dung lượng lưu trữ phía sau phù hợp cho những gì bạn dự định.

Khối lượng công việc của bạn gần như là tồi tệ nhất có thể đối với một hệ thống tệp có mục đích chung.Hàng triệu tệp, liệt kê thường xuyên, nhiều lần đọc và ghi. I/O siêu dữ liệu khổng lồ. Với số lượng tệp lớn, hiếm khi băng thông truyền tệp chính là vấn đề, thay vào đó là số lượng IOPS để truy vấn các mục nhập thư mục và inode nhiều lần.

Kiểm tra khối lượng công việc này một cách tổng hợp, đồng thời giám sát ứng dụng để đảm bảo hoạt động ở mức chấp nhận được. Trên quy mô lưu trữ sản xuất thực tế và mức IOPS. Đảm bảo khớp với cấu trúc thư mục, 300 tệp trên mỗi thư mục rất khác với 3.000.000 tệp trên mỗi thư mục. Hãy thử một vài hệ thống tệp khác nhau, dành cho Linux XFS và EXT4.

Có thể bạn sẽ cần bộ lưu trữ SSD rất nhanh và nhiều RAM để thực hiện đầy đủ chức năng này.

Có thể bạn có hợp đồng hỗ trợ với nhà cung cấp hệ điều hành của mình, nơi bạn có thể nhờ chuyên gia hiệu suất xem xét hợp đồng đó.

Nếu nhận được hiệu suất chấp nhận được đòi hỏi điều đó, hãy xem xét các thay đổi của ứng dụng. Xem xét lưu trữ và truy vấn danh sách tệp từ cơ sở dữ liệu khác với hệ thống tệp. Nhiều cơ sở dữ liệu có thể trả về vài triệu kết quả nhanh hơn hệ thống tệp bị hạn chế bởi POSIX nói chung và Linux VFS nói riêng.