Sự cố đĩa IO với khả năng ghi lại trang cao

Tôi đã cố gắng tìm hiểu chuyện gì đang xảy ra với một số máy chủ của chúng tôi. Đây là những máy chủ KVM có 5 -8 máy ảo. RAM >= 64GB, 10 - 20 nhân. Chúng đang chạy Hạt nhân chung Ubuntu 18.04 LTS 4.15.0-142, phân vùng gốc ext4 được mã hóa LUKS.

Ngẫu nhiên, một số máy chủ này sẽ trở nên rất chậm. Tất cả các dấu hiệu sẽ trỏ đến Đĩa IO, nhưng thực sự không có nhiều khối lượng công việc tiêu thụ IO (pidstat, iostat, vmstat). Nói tóm lại, hệ thống sẽ chuyển sang trạng thái khóa kỳ lạ, nơi mọi thứ trở nên chậm chạp và không phản hồi.

Một điều dường như phổ biến với các máy chủ không lành mạnh. Ghi lại sẽ trở nên cao ~ 2,5 GB và sẽ bị kẹt ở giá trị đó mà không có bất kỳ thay đổi nào. Đây có thể là một triệu chứng hoặc nguyên nhân, tôi thực sự không biết. Tôi đang thử nghiệm giảm dirty_ratio, nhưng chưa thể nói rằng nó đã hoạt động.

Bẩn: 1504 kB
Viết lại: 2537628 kB 

Đây là dấu vết cuộc gọi của các tác vụ bị kẹt được thu thập bằng Sysrq-w Theo dõi cuộc gọi cho các nhiệm vụ bị mắc kẹt

Tôi cũng đã cố gắng giải quyết vấn đề với phần cứng và nhận thấy điều này ảnh hưởng đến các phần cứng đĩa khác nhau.

Khởi động lại dường như để khắc phục sự cố tạm thời. Điều này đôi khi sẽ trở lại sau một vài ngày. Bất kỳ ý tưởng sẽ hữu ích. Hay noi tôi nêu bạn cân thêm thông tin. Cảm ơn trước