Tham gia Đăng nhập
Điểm:1
King David avatar Server

HDFS + cách tắt xác minh "du -sk" trên đĩa nút dữ liệu

lá cờ gb
King David

Chúng tôi đang sử dụng cụm HDP với 182 nút dữ liệu máy móc:

Phiên bản HDP - 2.6.4 Ambari phiên bản 2.6.1

Chúng tôi lưu ý hành vi sau đây trên nút dữ liệu máy (nó xảy ra trên tất cả nút dữ liệu máy và trên tất cả các đĩa).

Khi chúng ta thực hiện lệnh như ví dụ trên:

ps -eo s,người dùng,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd

Lưu ý - mỗi đĩa trong nút dữ liệu Là 5,4 T byte.

Chúng tôi có thể thấy điều đó HDFS đang chạy "du -sk" trên nút dữ liệu đĩa

Chúng tôi không thích điều này, bởi vì ý nghĩa của nó là tiêu thụ Avrg CPU tải cao và đôi khi thậm chí là hiệu suất kém.

Chúng tôi hiểu rằng HDFS cần phải chạy "du -sk" để xác minh dung lượng ổ đĩa, nhưng mặt khác, chi phí của nó - avrg tải CPU cao và đôi khi hiệu suất kém.

Có thể nói HDFS bằng cách nào đó để tắt xác minh này?

54
0 + 0
lá cờ VietNam
Phan Văn Trường
Câu hỏi này là trong các ngôn ngữ khác:

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.