Điểm:0

Máy chủ lưu trữ hậu kỳ video - tốc độ truyền chậm của các tệp nhỏ (1-2M) qua nhóm SMB sang ZFS. (Định dạng CinemaDNG)

lá cờ cn

Tôi là người chỉnh sửa Camera OP / Video, nhưng tôi quản lý cơ sở hạ tầng bài đăng cho nhóm 2 người của chúng tôi tại công ty sản xuất nhỏ.

Chúng tôi đang gặp sự cố với tốc độ truyền chậm qua mạng từ một trong các camera của chúng tôi. Máy ảnh này ghi vào thẻ SD (Kingston Canvas React 256 GB) một chuỗi DNG. Vì vậy, sau khi quay, trên thẻ SD có các thư mục cho mỗi clip chứa hàng chục nghìn tệp .dng 1-2 MB.

Chúng tôi đang nhập cảnh trên PC chạy Windows 10 (Alienware Aurora R10, R9-5900x 32GB RAM RTX 3080) bằng DaVinci Resolve và đó là công cụ Clone, công cụ này sẽ xác minh các tệp sau khi sao chép bằng cách kiểm tra tổng thể. Nếu chúng tôi đang sử dụng trình thám hiểm để sao chép các tệp vào mạng chia sẻ, thì tốc độ sẽ giống nhau, vì vậy tôi không nghĩ vấn đề là do giải pháp DaVinci. (Có những phần mềm có giấy phép đắt tiền (ví dụ YoYotta) yêu cầu sao chép nhanh hơn, nhưng tôi chưa thử những phần mềm đó). Điều tương tự cũng xảy ra trên Macbook Air 2015 của tôi với bộ chuyển đổi Thunderbolt 2 sang Ethernet.

Máy chủ của chúng tôi là một chiếc Dell T320 cũ với RAM 16 GB và Ổ đĩa đỏ WD 5 x 3TB (không phải SMR) được kết nối với bộ điều khiển Raid H200 được chuyển sang chế độ CNTT. Nó chạy XigmaNas và các đĩa nằm trong nhóm RAIDz1. Điều này sau đó được chia sẻ qua SMB. (Tôi biết máy chủ này rất chậm và dung lượng thấp đối với những gì chúng tôi đang làm, chúng tôi đã lên kế hoạch nâng cấp gần một năm nay lên 12 đĩa và một ssd cho mạng L2ARC và 10Gbps, nhưng chúng tôi chưa thực hiện được có thể tìm thấy một tuần rảnh rỗi khi không có bất kỳ dự án nào được lên kế hoạch và tôi có thể thực hiện nâng cấp.)

Chúng tôi có một PC nhúng chạy PfSense cho bộ định tuyến và tường lửa của chúng tôi và chúng tôi đang sử dụng bộ chuyển mạch Zyxel 8 cổng không được quản lý để kết nối các máy tính. Nó có thể xử lý kết nối gigabit đầy đủ trong mọi điểm chuẩn và bài kiểm tra mà tôi đã thử.

Vì vậy, vấn đề là như sau. Khi tôi bắt đầu truyền, nó bắt đầu ở tốc độ khoảng 70-80 Mb/giây, tốc độ nhanh chóng giảm xuống 10 MB/giây trong nửa phút và giảm dần xuống khoảng 2-3 MB/giây trong vài giờ. Nếu chuyển xong một thư mục, thư mục tiếp theo sẽ bắt đầu lại ở tốc độ tối đa. Vì vậy, nếu thẻ chứa đầy một loạt các thư mục (các clip nhỏ hơn) thì cũng không tệ lắm, quá trình chuyển sẽ được thực hiện sau vài giờ. Nhưng khi chúng tôi lấp đầy thẻ bằng 1-2 clip, do đó, các tệp 1-2, 100-150 GB chứa các tệp 1-2 MB sẽ mất hơn một ngày theo đúng nghĩa đen.

Khi chúng tôi đang sử dụng các máy ảnh khác đang quay ở 4K-6K, các tệp lớn hơn rất nhiều (đối với các clip dài hơn là các tệp 100-800 GB), nó sẽ truyền ở tốc độ tối đa, vì vậy thường đạt tối đa 112 MB/giây trong toàn bộ thời lượng của việc chuyển nhượng.

Tất nhiên, việc truyền các tệp nhỏ chậm hơn một chút với nhóm dung lượng trên 80-90% (đây là những con số tôi đã viết ở trên), nhưng khi nó chỉ dưới 50% thì tốc độ chậm nhất là 5 MB/s. Không xa lắm với 1-2 MB/s. Vì vậy, nó vẫn chậm và tôi không nghĩ rằng nhóm đã đầy, vì các tệp lớn vẫn đang truyền ở tốc độ tối đa. Tôi không nhớ nó như thế nào khi hồ bơi trống rỗng.

Khi chúng tôi làm việc với các video trong DaVinci Resolve, lập chỉ mục toàn bộ thư mục chứa các tệp sẽ chậm (5-10 phút cho 256 GB), nhưng sau khi hoàn thành, nó sẽ đọc các tệp ở tốc độ gigabit tối đa. Vì vậy, nó có thể được thực hiện, đó là lý do tại sao tôi đoán đó là sự cố trên mạng.

Vì vậy, những gì tôi đang thiếu? Đâu có vẻ là vấn đề? Tôi đã liên tục tìm kiếm và đọc các diễn đàn trong gần một năm, nhưng dường như không thể tìm thấy vấn đề chính xác ở bất kỳ đâu và tôi thực sự không thể thử nghiệm trên máy chủ vì nó được sử dụng hàng ngày.

Nếu đó là kiến ​​trúc của toàn bộ thiết lập và Chúng tôi phải chuyển sang máy chủ dựa trên SSD, thì tôi muốn đưa ra một giải pháp khác, bởi vì Hiện tại chúng tôi thực sự không có đủ tiền cho một bản nâng cấp lớn như vậy. Tôi đang nghĩ đến việc viết một tập lệnh tạo zip hoặc tar của các thư mục, chuyển chúng qua mạng và sau đó giải nén chúng. Nhưng sau đó tôi sẽ phải thực hiện tổng kiểm tra, v.v., và DaVinci Resolve thực hiện điều đó khá tinh tế và bạn có thể lên lịch chuyển, v.v. Và đó là một GUI. Vì vậy, tôi sẽ là một giải pháp băng bó. Nhưng tôi đang tìm kiếm bất kỳ và tất cả các giải pháp.

Cảm ơn các bạn trước. Bence Szentivánnyi

freezed avatar
lá cờ ca
Chào mừng bạn đến với Lỗi máy chủ. Vui lòng [tham quan](https://serverfault.com/tour) để tìm hiểu cách thức hoạt động của Lỗi máy chủ. Đọc [cách hỏi](https://serverfault.com/questions/how-to-ask) để cải thiện chất lượng câu hỏi của bạn.Sau đó, hãy xem [trung tâm trợ giúp](https://serverfault.com/help/on-topic) để xem liệu một số _câu hỏi về chủ đề_ đã được hỏi chưa.
ewwhite avatar
lá cờ ng
Liên hệ với tôi để được hỗ trợ cụ thể và chi tiết về việc này.
Amitie 10g avatar
lá cờ in
Bạn có sử dụng SSD cho ZIL (nhật ký mục đích) ngoài bộ đệm không? Đừng quên kích hoạt tính năng ghi đồng bộ, để bắt buộc sử dụng ZIL (việc ghi đồng bộ cho HĐH nhưng không đồng bộ bên trong theo nghĩa là dữ liệu sẽ được ghi vào bộ lưu trữ "ổn định" sau này).

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.