Trong một vài tháng, mọi thứ đều hoạt động tốt và vấn đề này không tồn tại. Sau một vòng lặp sự cố ở một trong các vùng chứa bắt đầu tạo ra nhiều nhật ký, máy chủ đã đầy. Vấn đề đó đã được giải quyết nhưng bây giờ khi tôi chạy ngăn xếp docker của mình, bao gồm cả elaticsearch, sau vài giờ, đĩa bắt đầu đầy 100%, nó sẽ chuyển từ mức sử dụng 20 GB sang 75 GB (100%) chỉ trong vài phút.
Nó không thể là nhật ký cũ vì chúng đã bị xóa khỏi hệ thống và elaticsearch được định cấu hình để thực hiện ILM trên các chỉ số, do đó, nó không lưu giữ nhiều hơn một vài GB dữ liệu (cuộn và xóa sau vài ngày). Cũng thế quan trọng cần lưu ý:
Trong khi df -h cho thấy đĩa hoàn toàn đầy. Khối lượng elaticsearch được gắn vào: /usr/share/elasticsearch/dữ liệu trong vùng chứa chỉ có dung lượng vài GB (khoảng 5 GB). sử dụng du -h -d1
Đồng thời, các du -h -d1 trên / chỉ hiển thị khoảng 20 GB sử dụng đĩa! Vì vậy, không rõ khối lượng lớn ~50GB bổ sung nằm ở đâu!
Khi tôi xóa dịch vụ elaticsearch khỏi ngăn xếp, mức sử dụng đĩa sẽ quay trở lại 20GB ngay lập tức.
Tôi đã thử:
- Xóa nút khỏi swarm, không có vùng chứa nào chạy và cắt bớt mọi thứ kể cả ổ đĩa. Sử dụng đĩa giảm. Khi tôi tham gia lại và chạy ngăn xếp với elaticsearch, vấn đề lại quay trở lại.
- Làm như đề xuất ở đây và gắn / vào /mnt.
du lệnh cho thấy không có sự khác biệt. Vẫn còn 20GB trong khi df cho thấy 100% đĩa đầy đủ.
Tài nguyên máy chủ:
- Dung lượng đĩa 75GB
- 4 lõi CPU
- RAM 16GB
Máy chủ là một centos7 và nó là trình quản lý trong bầy (Docker swarm) và phiên bản elaticsearch được "ghim" vào máy chủ này với các ràng buộc triển khai. Các vùng chứa khác cũng chạy trên máy chủ này.
Nhóm có 4 nút: 3 người quản lý cũng hoạt động như công nhân và 1 nút công nhân khác.
