chúng tôi có cụm Hadoop và chúng tôi nhận thấy rằng hdfs fsck đưa ra các kết quả sau
..............Tình trạng: KHỎE
Tổng kích thước: 58934628832 B
Tổng thư mục: 127002
Tổng số tệp: 354214
Tổng số liên kết tượng trưng: 0 (Tệp hiện đang được viết: 8)
Tổng số khối (đã xác thực): 349827 (kích thước khối trung bình 168467 B) (Tổng số khối tệp mở (chưa xác thực): 1)
Các khối được sao chép tối thiểu: 349827 (100,0 %)
Các khối được sao chép quá mức: 0 (0,0 %)
Các khối chưa được sao chép: 101699 (29,071226 %)
Các khối bị sao chép sai: 0 (0,0 %)
Hệ số sao chép mặc định: 3
Sao chép khối trung bình: 2,6958897
Khối bị hỏng: 0
Bản sao bị thiếu: 106386 (10,137011 %)
Số nút dữ liệu: 5
Số giá đỡ: 1
chúng ta có thể nhìn thấy Bản sao bị thiếu: 106386
vì vậy chúng tôi đã thực hiện các bước sau nhưng không thành công
hadoop fsck / -move
và
hadoop fsck / -xóa
và
hadoop fsck / -files -blocks -locations
và chúng tôi cũng cố gắng khắc phục theo bản sao
su - <$hdfs_user>
bash-4.1$ hdfs fsck / | grep 'Đang sao chép' | awk -F':' '{print $1}' >> /tmp/under_replicated_files
-bash-4.1$ cho hdfsfile trong `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; xong
vì vậy tất cả các bước trên không giải quyết được vấn đề thiếu bản sao
bất kỳ ý tưởng khác làm thế nào để tiếp tục từ giai đoạn này?
