Điểm:0

Làm cách nào để sửa lỗi etcd trong cụm kuberentes?

lá cờ us

Tôi có một cụm kubernetes kim loại trần (kubeadm) thực sự không ổn định và tôi đã tìm ra nó từ một vấn đề etcd.

Từ mô tả của nhóm etcd, tôi nhận được:

Hình ảnh: k8s.gcr.io/etcd:3.4.13-0
Sống động: ... #success=1 #failure=8
Khởi động: ... #success=1 #failure=24

Trong trình tự khởi động nhật ký có vẻ ổn (so với cụm khác), sau đó tôi nhận được rất nhiều cảnh báo:

etcdserver: [...] yêu cầu ... mất quá nhiều thời gian để thực thi

Nhưng tôi không nghĩ nó liên quan đến phần cứng vì etcd_disk_backend_commit_duration_seconds Phân vị thứ 99 ở mức 16ms, điều này là tốt theo Câu hỏi thường gặp.

Dù sao đi nữa, điều này diễn ra trong vài phút và sau đó tôi đoán điều này gây ra việc khởi động lại:

lỗi etcdserver/api/etcdhttp:/sức khỏe; QGET không thành công etcdserver: yêu cầu đã hết thời gian chờ (mã trạng thái 503)

Bất kỳ ý tưởng nào tôi có thể thực hiện thêm các bước để chẩn đoán sự cố và khắc phục etcd?

Mikołaj Głodziak avatar
lá cờ id
Bạn có thấy [vấn đề] này (https://github.com/etcd-io/etcd/issues/11809) không? Nó có giống của bạn không?
lá cờ us
Chà, nó có một số điểm tương đồng, nhưng trong vấn đề bạn đề cập đến thời gian chờ bắt đầu ngay sau khi khởi động, trong trường hợp của tôi, nó bắt đầu sau vài phút thời gian hoạt động. Ngoài ra, không rõ liệu có sự cố trong vấn đề khác hay không, trong khi đối với tôi thì chắc chắn là có. Nhưng tôi sẽ tiếp tục xem xét hiệu suất của đĩa cho đến khi tôi hiểu rõ hơn...
Mikołaj Głodziak avatar
lá cờ id
Bạn đã sử dụng phiên bản Kubernetes nào? Bạn có thể cung cấp các bước bạn đã thiết lập cụm chính xác như thế nào không?
Wytrzymały Wiktor avatar
lá cờ it
Xin chào @Antoine. Bất cứ cập nhật?
lá cờ us
Cảm ơn, tôi đã có thể nhận trợ giúp trên github và giải quyết vấn đề: https://github.com/etcd-io/etcd/issues/13373. Tôi nghĩ rằng tại một thời điểm nào đó, nút của tôi đã thay đổi IP riêng do sự cố phần cứng và khi nâng cấp, v.v., nó đã gây ra sự cố cấu hình. Cách khắc phục là kết xuất + khôi phục dữ liệu etcd.

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.