Gần đây, chúng tôi đã xảy ra sự cố khi chúng tôi không thể kết nối với nhiều chủ trên cụm Redis của chúng tôi.
Các kết nối từ cơ sở mã của chúng tôi đã hết thời gian.Chúng tôi cũng không thể SSH vào hộp trong thời gian này, về cơ bản là khóa chúng tôi.
Điều này đã xảy ra nhiều lần và mỗi lần CPU chiếm khoảng 20% và mức sử dụng bộ nhớ cũng khoảng 20%. Số lượng kết nối tcp thay đổi trong mỗi sự kiện trong khoảng từ 7 nghìn đến 12 nghìn, thấp hơn nhiều so với mức chúng tôi cho là mức báo động.
Các kết nối đã được thiết lập vẫn tiếp tục hoạt động bình thường. Trong số các kết nối hiện có đó là các nhà xuất khẩu chỉ số của chúng tôi, vì vậy họ vẫn có thể thu thập các chỉ số về kết nối/cpu, v.v.
Mạng vào/ra sẽ giảm dần do các kết nối hiện tại bị tắt, tuy nhiên các kết nối mới hoàn toàn không thể kết nối, như thể chúng bị máy chủ từ chối.
Chúng tôi đã xem xét các cài đặt như SOMAXCONN và các bộ mô tả tệp có sẵn, nhưng vẫn chưa thể xác định lý do không thể thực hiện các kết nối mới vì không có sự bất thường rõ ràng nào trong bất kỳ số liệu thống kê nào mà chúng tôi đã xem xét trước khi xảy ra sự cố.
Các máy chủ đang chạy Amazon Linux 2 trên các loại phiên bản x2gd.medium trên AWS.
Việc không thể đăng nhập qua SSH, trong khi phần lớn lưu lượng truy cập nằm trên một cổng khác có vẻ khá kỳ lạ.
Có ai có bất kỳ ý tưởng nào về lý do tại sao không thể thực hiện kết nối, trong khi tất cả các chỉ số rõ ràng đều có vẻ ổn không?
