Điểm:0

Lưu trữ hàng triệu tệp âm thanh có khả năng truy cập tìm kiếm (nếu có thể)

lá cờ us

Tôi đang tìm kiếm giải pháp cho vấn đề này mà tôi gặp phải khi lưu trữ các tệp có giá trị 7tb, tất cả chúng đều là tệp âm thanh, những tệp này là bản ghi của máy chủ dựa trên dấu hoa thị freepbx.

Lúc đầu, những gì tôi đã làm là cài đặt proxmox trên máy chủ có ssd để truy cập nhanh hơn, sau đó nextcloud để truy cập tệp qua web (máy chủ này chỉ phục vụ tại mạng cục bộ nên bảo mật không phải là vấn đề ở đây) khi tôi tiếp tục tải lên các tệp, tôi nhận ra rằng điều này thật tệ ý tưởng là mất rất nhiều thời gian để tìm kiếm một tệp cụ thể và tôi chỉ sử dụng được 2tb, tôi đã chơi với đám mây tiếp theo một thời gian và tôi biết mình có thể tìm kiếm qua ssh hoặc webdav nhưng cũng mất rất nhiều thời gian bởi vì những tệp này cần được truy cập thường xuyên với nhiều người dùng.

vì vậy tôi đang tìm giải pháp cho vấn đề này vì tôi vẫn có dữ liệu trị giá 5tb và tôi đang tìm cách truy cập web hoặc bất kỳ cách nào khác để tìm và truy xuất dữ liệu từ bộ lưu trữ một cách dễ dàng hoặc máy chủ web/hệ điều hành hoàn toàn mới có thể giúp lưu trữ và truy cập các tập tin.

những gì tôi có là ssd để khởi động và ổ đĩa 4x4tb để lưu trữ trên đột kích5 với thẻ lan 2x gigabit trên máy chủ đó để truy cập với proxmox được cài đặt và chạy một số máy ảo, dữ liệu được cấu trúc theo năm> tháng> ngày> 1000 tệp có số điện thoại được bật có tên để nhận dạng.

Cảm ơn bạn Trân trọng,

lá cờ vn
Bạn có thể muốn một cái gì đó như https://opensearch.org/ hoặc https://www.elastic.co/ cho việc này. Hoặc thậm chí là một giải pháp được lưu trữ như https://www.algolia.com/.
Noob with 0 knowledge avatar
lá cờ us
Xin chào, tôi đã xem xét opensearch và elastic nhưng chúng dành cho phân tích dữ liệu và chủ yếu được sử dụng cho nhật ký và tôi không thể tìm thấy bất kỳ tài liệu tham khảo nào về lưu trữ dữ liệu. Tôi có thể sai vì 2 cái đó là lãnh thổ chưa được khám phá đối với tôi và có thể có một plugin có thể trợ giúp việc này nhưng tôi vẫn chưa biết về điều này, tôi sẽ đánh giá cao nếu bạn có thể hướng dẫn tôi đúng cách.
lá cờ vn
Tôi đề cập đến những điều này bởi vì hầu hết các câu hỏi của bạn dường như xoay quanh tìm kiếm; "đây là ý tưởng tồi vì phải mất rất nhiều thời gian để tìm kiếm một tệp cụ thể", v.v. Lưu trữ và tìm kiếm tệp phần lớn là các vấn đề riêng biệt.
anx avatar
lá cờ fr
anx
Vài Terabyte tệp âm thanh phải tương đương với tổng kích thước tên tệp phù hợp với RAM thông thường hiện nay. Có thể bạn đang đợi ứng dụng (*Nextcloud*) xây dựng chỉ mục tệp theo yêu cầu và nếu tất cả các tệp được lưu vào bộ nhớ cache trong cơ sở dữ liệu của nó, thì nó sẽ khá nhanh phải không?
Noob with 0 knowledge avatar
lá cờ us
Tôi hiện đang sử dụng nextcloud và nó tốt cho đến khi tôi phải truy cập các bản ghi, chẳng hạn như tôi cần ghi một số cụ thể trong tìm kiếm, bạn không thể chỉ tải xuống mà phải mở từng thư mục cụ thể để tải xuống tất cả, thật tuyệt nếu tôi có thể tải xuống tất cả cùng một lúc và nextcloud tạo cơ sở dữ liệu để truy cập nhanh nhưng việc tải xuống rất khó khăn.
Điểm:2
lá cờ in

Tôi cũng đang làm việc với rất nhiều tệp âm thanh.

Cách tốt nhất tôi đã tìm thấy để xử lý việc này là:

  • Sử dụng đĩa SSD và nhân bản RAID1/ZFS để tăng tốc độ truy cập.
  • Đừng xử lý các tệp mà hãy xử lý tên tệp và siêu dữ liệu : tạo một chỉ mục có thể tìm kiếm đơn giản và nhẹ nhàng. Cơ sở dữ liệu, Tìm kiếm đàn hồi hoạt động tốt nhưng ngốn RAM, PostgreSQL với các cột trường được lập chỉ mục cũng có thể thực hiện công việc.
  • Chỉ cần sử dụng một liên kết đến đường dẫn tệp khi quyền truy cập được kích hoạt.

Quy trình làm việc của tôi là:

  1. Duyệt cây và tên tệp dựa trên văn bản từ một trang web đơn giản (tự làm)
  2. Nhấp để truy cập tệp
  3. Trang web truy xuất tệp dựa trên đường dẫn và phục vụ nó cho người dùng (trên mạng LAN hoặc qua Internet).

Nhân tiện, với loại khối lượng này, sẽ rất thú vị khi xem xét các công cụ được sử dụng bởi người tích trữ dữ liệu, chẳng hạn như

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.