Điểm:1

Lỗi phân bổ trang nhanh chóng dẫn đến sự cố hệ thống

lá cờ it

Chúng tôi chạy một nền tảng sử dụng cầu nối Linux để lọc lưu lượng truy cập và cũng ghi nhật ký hoạt động đó vào máy chủ MySQL. Đôi khi, chúng tôi gặp sự cố trong đó đơn vị sẽ gặp phải độ trễ rất cao và dẫn đến việc chúng tôi thường thấy lỗi phân bổ trang lặp lại trong mpt3sas trình điều khiển và đăng nhập vào /var/log/tin nhắn. Những điều này dường như xảy ra trong thời gian tải hệ thống cao, nhưng cũng xảy ra trên một hệ thống có đủ bộ nhớ. Tôi không có chuyên môn để đọc các nhật ký này một cách chính xác và hy vọng ai đó có thể hiểu rõ hơn.

Tôi đã thử điều chỉnh vm.min_free_kbytes = 65536 (và chúng tôi đang sử dụng vm.reclaim_mode = 1) nhưng điều đó dường như không làm giảm bớt vấn đề. Có ai có ý tưởng nào? (Nhật ký theo dõi :)

nhân máy chủ cục bộ: [21572436.601597] sas3ircu: lỗi cấp phát trang: thứ tự:4, chế độ:0xcc0(GFP_KERNEL), nodemask=(null),cpuset=/,mems_allowed=0
hạt nhân máy chủ cục bộ: [21572436.601601] CPU: 2 PID: 22663 Giao tiếp: sas3ircu Bị nhiễm độc: G W O #1
hạt nhân máy chủ cục bộ: [21572436.601602] Tên phần cứng: XXXXXXXXXXX , BIOS 3.1 06/06/2018
hạt nhân máy chủ cục bộ: [21572436.601602] Theo dõi cuộc gọi:
hạt nhân máy chủ cục bộ: [21572436.601609] dump_stack+0x7c/0x9c
hạt nhân máy chủ cục bộ: [21572436.601612] cảnh báo_alloc.cold+0x7b/0xdf
hạt nhân máy chủ cục bộ: [21572436.601615]? _cond_resched+0x15/0x30
hạt nhân máy chủ cục bộ: [21572436.601617]? __alloc_pages_direct_compact+0x141/0x150
hạt nhân máy chủ cục bộ: [21572436.601618] __alloc_pages_slowpath+0xd88/0xdc0
hạt nhân máy chủ cục bộ: [21572436.601622]? node_reclaim+0x2b1/0x310
hạt nhân máy chủ cục bộ: [21572436.601624]? get_page_from_freelist+0xaf/0x3a0
hạt nhân máy chủ cục bộ: [21572436.601625] __alloc_pages_nodemask+0x2bf/0x310
hạt nhân máy chủ cục bộ: [21572436.601628] __dma_direct_alloc_pages+0x137/0x220
nhân máy chủ cục bộ: [21572436.601630] dma_direct_alloc_pages+0x1c/0x80
nhân máy chủ cục bộ: [21572436.601639] _ctl_do_mpt_command+0x724/0xc40 [mpt3sas]
hạt nhân máy chủ cục bộ: [21572436.601642]? ima_file_check+0x59/0x80
hạt nhân máy chủ cục bộ: [21572436.601646] _ctl_compat_mpt_command+0xd1/0x100 [mpt3sas]
nhân máy chủ cục bộ: [21572436.601651] _ctl_ioctl_main+0x4e0/0xb80 [mpt3sas]
hạt nhân máy chủ cục bộ: [21572436.601655]? __ia32_compat_sys_ioctl+0x189/0x210
nhân máy chủ cục bộ: [21572436.601656] __ia32_compat_sys_ioctl+0x189/0x210
hạt nhân máy chủ cục bộ: [21572436.601659] do_int80_syscall_32+0x6e/0x1d0
nhân máy chủ cục bộ: [21572436.601660] entry_INT80_compat+0x85/0x90
hạt nhân máy chủ cục bộ: [21572436.601669] Thông tin ghi nhớ:
hạt nhân máy chủ cục bộ: [21572436.601672] active_anon:9743919 inactive_anon:513867 bị cô lập_anon:0
hạt nhân máy chủ cục bộ: [21572436.601672] active_file:35892 inactive_file:14339 bị cô lập_file:0
hạt nhân máy chủ cục bộ: [21572436.601672] không thể tránh khỏi: 0 bẩn: 398 ghi lại: 1 không ổn định: 0
hạt nhân máy chủ cục bộ: [21572436.601672] slab_reclaimable:51419 slab_unreclaimable:4912133
hạt nhân máy chủ cục bộ: [21572436.601672] được ánh xạ:18355 shmem:22661 bảng trang:53364 bị trả lại:0
hạt nhân máy chủ cục bộ: [21572436.601672] miễn phí:1065699 free_pcp:351 free_cma:0
hạt nhân máy chủ cục bộ: [21572436.601675] Nút 0 active_anon:38975676kB inactive_anon:2055468kB active_file:143568kB inactive_file:57356kB không thể tránh khỏi:0kB bị cô lập(anon):0kB bị cô lập(tệp):0kB được ánh xạ:73420kB dirty:1592kB writeback: shmem_pmdmapped: 0kB anon_thp: 0kB writeback_tmp:0kB không ổn định:0kB all_unreclaimable? không
hạt nhân máy chủ cục bộ: [21572436.601675] Nút 0 DMA miễn phí:15884kB tối thiểu:12kB thấp:24kB cao:36kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB không thể tránh khỏi:0kB writepending:0kB hiện tại:15968kB được quản lý:15884kB mlocked:0kB kernel 0kB bảng trang:0kB thoát:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
hạt nhân máy chủ cục bộ: [21572436.601678] lowmem_reserve[]: 0 1784 64117 64117
localhost kernel: [21572436.601679] Node 0 DMA32 free:255804kB min:1892kB low:3788kB high:5684kB active_anon:170384kB inactive_anon:80484kB active_file:0kB inactive_file:0kB unevictable:0kB writepending:0kB present:1965184kB managed:1899648kB mlocked:0kB kernel_stack: 0kB bảng trang:56kB thoát:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
hạt nhân máy chủ cục bộ: [21572436.601682] lowmem_reserve[]: 0 0 62333 62333
localhost kernel: [21572436.601683] Node 0 Normal free:3991108kB min:63624kB low:127460kB high:191296kB active_anon:38805292kB inactive_anon:1974984kB active_file:143684kB inactive_file:57032kB unevictable:0kB writepending:1596kB present:65011712kB managed:63836092kB mlocked:0kB kernel_stack: 5604kB bảng trang:213400kB thoát:0kB free_pcp:1404kB local_pcp:232kB free_cma:0kB
hạt nhân máy chủ cục bộ: [21572436.601686] lowmem_reserve[]: 0 0 0 0
hạt nhân máy chủ cục bộ: [21572436.601687] Nút 0 DMA: 1*4kB (U) 1*8kB (U) 0*16kB 0*32kB 2*64kB (U) 1*128kB (U) 1*256kB (U) 0*512kB 1 *1024kB (U) 1*2048kB (M) 3*4096kB (M) = 15884kB
hạt nhân máy chủ cục bộ: [21572436.601694] Nút 0 DMA32: 14687*4kB (UME) 10010*8kB (UME) 7183*16kB (UME) 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 1 (2048kB H) 0*4096kB = 255804kB
hạt nhân máy chủ cục bộ: [21572436.601697] Nút 0 Bình thường: 297793*4kB (UM) 129409*8kB (UM) 110330*16kB (UME) 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB *4096kB = 3991724kB
hạt nhân máy chủ cục bộ: [21572436.601701] Nút 0 hugpages_total=0 hugpages_free=0 hugpages_surp=0 hugpages_size=1048576kB
hạt nhân máy chủ cục bộ: [21572436.601702] Nút 0 hugpages_total=0 hugpages_free=0 hugpages_surp=0 hugpages_size=2048kB
hạt nhân máy chủ cục bộ: [21572436.601702] 107240 tổng số trang bộ nhớ cache
hạt nhân máy chủ cục bộ: [21572436.601707] 34281 trang trong bộ đệm trao đổi
hạt nhân máy chủ cục bộ: [21572436.601708] Hoán đổi số liệu thống kê bộ đệm: thêm 18740072, xóa 18705912, tìm 159408767/161694352
hạt nhân máy chủ cục bộ: [21572436.601708] Trao đổi miễn phí = 4913860kB
hạt nhân máy chủ cục bộ: [21572436.601708] Tổng số trao đổi = 33554424kB
hạt nhân máy chủ cục bộ: [21572436.601709] 16748216 trang RAM
hạt nhân máy chủ cục bộ: [21572436.601709] 0 trang HighMem/MovableOnly
hạt nhân máy chủ cục bộ: [21572436.601709] 310310 trang dành riêng
kernel localhost: [21572436.601710] 0 trang cma dành riêng
hạt nhân máy chủ cục bộ: [21572436.601710] 0 trang bị đầu độc
hạt nhân máy chủ cục bộ: [21572436.601711] lỗi tại trình điều khiển/scsi/mpt3sas/mpt3sas_ctl.c:763/_ctl_do_mpt_command()!
Wilson Hauck avatar
lá cờ jp
Yêu cầu thông tin bổ sung, xin vui lòng. Bất kỳ thiết bị SSD hoặc NVME nào trên máy chủ MySQL Host? Đăng trên pastebin.com và chia sẻ các liên kết. Từ thư mục gốc đăng nhập SSH của bạn, Kết quả văn bản của: A) CHỌN COUNT(*) TỪ information_schema.tables; B) HIỂN THỊ TRẠNG THÁI TOÀN CẦU; sau tối thiểu 24 giờ C) HIỂN THỊ BIẾN TOÀN CẦU; VÀ thông tin hệ điều hành rất hữu ích, bao gồm - htop hàng đầu ulimit -a cho danh sách giới hạn Linux/Unix, iostat -xm 5 3 cho IOPS theo thiết bị và số lượng lõi/cpu, để phân tích điều chỉnh khối lượng công việc của máy chủ nhằm đưa ra đề xuất.
Wilson Hauck avatar
lá cờ jp
Tại sao có sự nhầm lẫn về 12 dòng từ cuối nhật ký đã đăng với hugpages_size của 1G và 2M? 2 dòng theo đây. hạt nhân máy chủ cục bộ: [21572436.601701] Nút 0 hugpages_total=0 hugpages_free=0 hugpages_surp=0 hugpages_size=1048576kB hạt nhân máy chủ cục bộ: [21572436.601702] Nút 0 hugpages_total=0 hugpages_free=0 hugpages_surp=0 hugpages_size=2048kB Chỉ là tò mò thôi và có vẻ như các trang ôm chưa bao giờ thực sự sử dụng phiên này, chúng thậm chí có nên được bật không? Một số tài năng gợi ý cho MySQL rằng chúng phải luôn bị vô hiệu hóa.
Wilson Hauck avatar
lá cờ jp
Phân tích khối lượng công việc của tôi vẫn có sẵn cho bạn - sau khi dữ liệu của bạn được đăng. Cảm ơn

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.