Kafka: theo dõi độ dài của hàng đợi/chủ đề

Chúng tôi có một số nhà sản xuất và một số người tiêu dùng được kết nối qua Kafka - về cơ bản, đó là các công việc xử lý hàng loạt được tạo theo yêu cầu, đặt trên Kafka trong một số hàng đợi và bộ xử lý hàng loạt chọn chúng qua Kafka và xử lý từng cái một.

Tôi muốn trực quan hóa và theo dõi độ dài của các hàng đợi này trong Kafka. Độ dài hàng đợi sẽ đóng vai trò là đại diện cho "tải" của toàn bộ hệ thống. Càng nhiều công việc chờ trong hàng đợi, hệ thống càng được "tải" nhiều hơn.

Kafka của chúng tôi là một cụm AWS MSK. Tôi đã bật giám sát Prometheus JMX và tôi đang thu thập tất cả các số liệu sau mỗi 10 giây.

Nhìn vào các số liệu, không có gì rõ ràng ngay lập tức về độ dài hàng đợi. Tham số đó có được hiển thị dưới dạng số liệu theo mặc định không?

Nếu độ dài hàng đợi không được hiển thị theo mặc định, cách tốt nhất để thu thập số liệu đó là gì? Giả sử tôi có thể viết tập lệnh Python với bất kỳ thư viện nào được cài đặt và tôi có toàn quyền truy cập vào các điểm cuối Kafka từ tập lệnh đó.

Lưu ý: Tôi hiểu các khái niệm cơ bản, nhưng tôi không có nhiều kinh nghiệm thực tế với Kafka (trước đây tôi chỉ sử dụng RabbitMQ), vì vậy xin lỗi nếu từ vựng của tôi không chính xác lắm. Ví dụ. cái mà tôi gọi là "hàng đợi" rõ ràng được gọi là "chủ đề".