Something is closing connections in my CentOS VMs - how to best troubleshoot?

I have a setup with 3 VMs (1 application server on CentOS6 and 2 database servers on CentOS7). The last 1-2 weeks we have had issues with timeouts when connecting to the database servers (and between the two servers that are in a cluster).

The database provider (Couchbase) can see from logs that the connections are forced closed:

WARN com.couchbase.endpoint - [com.couchbase.endpoint][UnexpectedEndpointDisconnectedEvent] The remote side disconnected the endpoint unexpectedly

The logs also show that packages are dropped, like:

[warn] Interface ‘ens32’ (removedip) failures: RX:2863 / TX:0 - Details:
- RX packets:308,593,167 errors:0
dropped:2,863 overruns:0 frame:0

The VMs are hosted on the same host which is a VMware ESXi (version 6.5). So they should be able to have good connections to each other.

And what has changed over the last couple of weeks? Security updates on the VM OSes and the database server version (from 6.6.0 to 7.0.0). The database upgrade shouldn't change anything in the network but obviously is the reason why I first contacted the database provider...

Any ideas to find the culprit much appreciated :-)

Edit:

Following Camerons suggestion I just ran a short network trace and loaded it into Wireshark on my local machine. Then I opened the "Expert information" and got this: I need to say that there is an Nginx proxy server in front of the application server. It handles SSL and "lifts it off" before hitting the app. server. Just looking at the info I would expect the two "red" blocks to be related to requests coming from the outside - and not from the app. server to the database servers.

But I'm not really sure what to look for in the results? - and I guess I need to let it run a little longer - but perhaps without the information from the outside?

Edit 2

While sitting and looking at it the issue actually arose... - so I quickly started the tcpdump again. So the results may not contain the root cause - but should be more relevant than the first: The blocks I have expanded seem to be related to communication with one of the database servers.... :-)

But what do these results mean and how do I get closer to finding the cause?

Chào mừng bạn đến với Lỗi máy chủ.

Cho tuổi; CentOS 6 hiện không còn hỗ trợ, rất có thể bạn đang gặp phải sự không tương thích SSL/TLS; tất nhiên là giả sử rằng bạn đang kết nối qua đó. Chúng tôi chắc chắn đã trải qua nhiều sự kiện như vậy trong thời gian sử dụng RHEL6 vì SSL2, v.v. đã bị tắt dần theo mặc định. Tương tự như vậy với các phiên bản điểm khác nhau của Java (một số bản phát hành điểm trong sê-ri 1.7 đặc biệt khó hiểu)

Một lý do có thể khác, khi bạn đang chạy khối lượng công việc CentOS trên ESXi, là bạn có thể đang chạy entropy, điều này gây ra hành vi chặn có thể dẫn đến thời gian chờ và sự cố cụm, dẫn đến hủy kết nối. Cho đến một nơi nào đó trong Java 8, Java đặc biệt nhạy cảm với điều này. Bạn có thể đánh giá xem đây có phải là vấn đề của mình hay không bằng cách xem /proc/sys/kernel/random/entropy_avail theo thời gian; nếu nó xuống dưới 128 hoặc hơn và không quay trở lại, thì bạn đã chết đói entropy. Phổ biến trên máy ảo không có hoạt động bàn phím-chuột; bạn có thể thử chạy trình nền thu thập entropy nếu trường hợp này xảy ra.

Nhân tiện, tôi sẽ không kết luận từ các nhật ký đó rằng có thứ gì đó [khác] đang tích cực buộc đóng các kết nối đó; chỉ là kết nối bị đóng vào thời điểm mà một bên không mong đợi. Điều này có thể là do những thứ như thời gian chờ, ngoại lệ, sự cố quy trình, v.v.

Bạn nói rằng máy chủ cơ sở dữ liệu đã được nâng cấp... đó có phải là bản nâng cấp hệ điều hành từ CentOS 6 không? Ứng dụng cũng được nâng cấp hay nó đã được dỡ bỏ và thay đổi?

Chúc mừng, Cameron