chúng tôi có cụm kafka trên phiên bản linux rhel - 7.6
chúng tôi nhận thấy có quá nhiều tệp đang mở trên máy kafka
nhưng khi chúng tôi đã làm lsof >/tmp/res_file
tập tin biểu mẫu /tmp/res_file , chúng ta có thể thấy nhiều dòng như
java 172301 172722 kafka *770w FIFO 0,9 0t0 303639156 ống
java 172301 172722 kafka *771u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *772u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *773r FIFO 0,9 0t0 303741913 ống
java 172301 172722 kafka *774u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *775w FIFO 0,9 0t0 303637483 ống
java 172301 172722 kafka *776w FIFO 0,9 0t0 306043296 ống
java 172301 172722 kafka *777w FIFO 0,9 0t0 313046116 ống
java 172301 172722 kafka *778r FIFO 0,9 0t0 304446234 ống
java 172301 172722 kafka *779u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *780r FIFO 0,9 0t0 303800963 ống
java 172301 172722 kafka *781w FIFO 0,9 0t0 303300350 ống
java 172301 172722 kafka *782w FIFO 0,9 0t0 305039138 ống
java 172301 172722 kafka *783r FIFO 0,9 0t0 304659538 ống
java 172301 172722 kafka *784r FIFO 0,9 0t0 303453024 ống
java 172301 172722 kafka *785w FIFO 0,9 0t0 303737027 ống
java 172301 172722 kafka *786u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *787u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *788u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *789r FIFO 0,9 0t0 303258041 ống
java 172301 172722 kafka *790w FIFO 0,9 0t0 303258041 ống
java 172301 172722 kafka *791u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *792u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *793u a_inode 0,10 0 11398 [thăm dò sự kiện]
java 172301 172722 kafka *794r FIFO 0,9 0t0 305651339 ống
và khi chúng tôi đã làm
con mèo /tmp/res_file | egrep "pipe|eventpoll" | wc -l
chúng tôi nhận được số lượng lớn các dòng có chứa đường ống hoặc sự kiện
con mèo /tmp/res_file | egrep "pipe|eventpoll" | wc -l
143173534
từ sự hiểu biết của tôi khi lsof hiển thị các dòng kết thúc bằng đường ống|thăm dò sự kiện nó chỉ ra về một vấn đề
nhưng tôi vẫn không hiểu nguyên nhân gốc rễ của việc này là gì
dù sao chúng tôi đã tăng số lượng tệp trên kafka, nhưng đây không phải là giải pháp
vì số lượng tệp được tăng lên mỗi ngày do các dòng có - đường ống|thăm dò sự kiện
bất kỳ ý tưởng làm thế nào để biết lý do cho hành vi này?
thẩm quyền giải quyết:
https://stackoverflow.com/questions/58690422/kafka-producer-consumer-are-opening-too-many-file-descriptor
https://stackoverflow.com/questions/15956452/troubleshooting-too-many-files-open-with-lsof
https://access.redhat.com/solutions/4072141
https://issues.Apache.org/jira/browse/KAFKA-3317
