Chúng tôi có một máy chủ RabbitMQ chạy chính xác trong một thời gian cho đến khi nó bắt đầu cài đặt và bỏ cài đặt cảnh báo bộ nhớ qua lại:
380 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::17:46:33 ===
Đã đặt 381 vm_memory_high_watermark. Bộ nhớ đã sử dụng:3437756080 cho phép:3338231808
382
383 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::17:46:33 ===
384 cảnh báo giới hạn tài nguyên bộ nhớ được đặt trên nút 'rabbit@rab-server'.
385
386 ****************************************************** *********
387 *** Nhà xuất bản sẽ bị chặn cho đến khi cảnh báo này hết ***
388 ****************************************************** *********
389
390 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::17:46:36 ===
391 vm_memory_high_watermark rõ ràng. Bộ nhớ đã sử dụng:1541409584 cho phép:3338231808
392
393 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::17:46:36 ===
Đã xóa cảnh báo giới hạn tài nguyên bộ nhớ 394 trên nút 'rabbit@rab-server'
395
396 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::17:46:36 ===
Đã xóa cảnh báo giới hạn tài nguyên bộ nhớ 397 trên toàn cụm
398
399 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::17:46:42 ===
Đã đặt 400 vm_memory_high_watermark. Bộ nhớ đã sử dụng:4035019336 cho phép:3338231808
401
402 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::17:46:42 ===
Đã đặt báo động giới hạn tài nguyên bộ nhớ 403 trên nút 'rabbit@rab-server'.
404
405 ****************************************************** *********
406 *** Nhà xuất bản sẽ bị chặn cho đến khi cảnh báo này hết ***
407 ****************************************************** *********
408
409 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::17:46:45 ===
Xóa 410 vm_memory_high_watermark. Bộ nhớ đã sử dụng:1786022776 cho phép:3338231808
Nó làm như vậy nhiều lần và các bước nhảy luôn chiếm khoảng 2,5 GB hoặc bộ nhớ được sử dụng.
Cho đến khi nó bắt đầu làm điều tương tự đối với dung lượng ổ đĩa
456 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::18:15:35 ===
457 Không gian đĩa trống không đủ. Số byte miễn phí: 44498944. Giới hạn: 50000000
458
459 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:15:35 ===
Cảnh báo giới hạn tài nguyên đĩa 460 được đặt trên nút 'rabbit@rab-server'.
461
462 *************************************************** *********
463 *** Nhà xuất bản sẽ bị chặn cho đến khi cảnh báo này hết ***
464 *************************************************** *********
465
466 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::18:16:05 ===
467 Không gian đĩa trống là đủ. Số byte miễn phí: 8649433088. Giới hạn: 50000000
468
469 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:16:05 ===
Đã xóa cảnh báo giới hạn tài nguyên đĩa 470 trên nút 'rabbit@rab-server'
471
472 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:16:05 ===
Đã xóa cảnh báo giới hạn tài nguyên đĩa 473 trên toàn cụm
474
475 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::18:18:17 ===
476 Dung lượng đĩa trống không đủ. Số byte miễn phí: 46092288. Giới hạn: 50000000
477
478 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:18:17 ===
479 cảnh báo giới hạn tài nguyên đĩa được đặt trên nút 'rabbit@rab-server'.
480
481 ****************************************************** *********
482 *** Nhà xuất bản sẽ bị chặn cho đến khi cảnh báo này hết ***
483 ****************************************************** *********
484
485 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::18:19:07 ===
486 Không gian đĩa trống là đủ. Số byte miễn phí: 2646163456. Giới hạn: 50000000
487
488 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:19:07 ===
Đã xóa cảnh báo giới hạn tài nguyên đĩa 489 trên nút 'rabbit@rab-server'
490
491 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:19:07 ===
Đã xóa cảnh báo giới hạn tài nguyên đĩa 492 trên toàn cụm
493
494 =BÁO CÁO THÔNG TIN==== 25-Oct-2021::18:40:51 ===
495 Dung lượng đĩa trống không đủ. Số byte miễn phí: 49758208. Giới hạn: 50000000
496
497 =BÁO CÁO CẢNH BÁO==== 25-Oct-2021::18:40:51 ===
Đã đặt cảnh báo giới hạn tài nguyên đĩa 498 trên nút 'rabbit@rab-server'.
499
500 ****************************************************** *********
501 *** Nhà xuất bản sẽ bị chặn cho đến khi cảnh báo này hết ***
502 *************************************************** *********
Và bước nhảy vọt về dung lượng ổ đĩa từ hàng gigabyte dung lượng ổ đĩa trống xuống dưới 50 megabyte
Và sau đó nó sụp đổ. Cố gắng khởi động lại cơ sở dữ liệu ở trạng thái này sẽ khiến RabbitMQ cố gắng khởi động và sẽ kết xuất toàn bộ cơ sở dữ liệu của nó vào tệp nhật ký, khiến tệp nhật ký tăng từ khoảng 600 dòng lên hơn 19000000 (vâng, mười chín triệu).
Tôi gặp khó khăn trong việc tìm ra nguyên nhân gây ra hành vi này bởi vì khi tôi làm
df -h
Trong hành vi, không có đĩa nào đầy.
Tôi không phải là chuyên gia về RabbitMQ nên câu hỏi của tôi là:
1 - RabbitMQ có ghi vào đĩa nếu có quá nhiều RAM không?
2 - RabbitMQ viết ở đâu? Có thể 50 MB đang đề cập đến không gian có thể ghi của nó?
3 - Nếu bạn đã từng gặp sự cố tương tự, bạn đã làm gì để khắc phục sự cố đó?
Hiện tại tôi đã thêm không gian hoán đổi trên máy vì nó được đề cập để kích hoạt nó trong tài liệu bộ nhớ của RabbitMQ: https://www.rabbitmq.com/memory.html
Tôi phải đưa máy chủ trở lại đúng hướng ngay bây giờ, nhưng tôi không có cách nào xác nhận điều này sẽ khắc phục sự cố cho đến khi nó xuất hiện trở lại.
Cảm ơn bạn đã dành thời gian.
