Điểm:0

Có gì sai với Cổng ESXi VMKernel trong cấu hình Hoạt động/Hoạt động?

lá cờ ng

Tôi có cấu hình đơn giản hóa bên dưới:

nhập mô tả hình ảnh ở đây

Về cơ bản, tôi có một máy chủ ESXi với hai bộ điều hợp mạng vật lý. Mỗi bộ điều hợp cắm vào một công tắc khác nhau. Mỗi switch được kết nối thông qua một cổng trunk. Một PC được kết nối với một trong các công tắc. Một vSwitch có cổng VMKernel và các cổng VM được định cấu hình để sử dụng cả hai NIC vật lý trong cấu hình Hoạt động/Hoạt động:

nhập mô tả hình ảnh ở đây

tôi chạy esxtop và có thể thấy rằng máy chủ ESXi đã chọn NIC vật lý được kết nối với Công tắc 2 cho cổng VMKernel. Từ PC, nếu tôi ping địa chỉ IP quản lý của máy chủ ESXi thì ping không liên tục. Họ đi lên và đi xuống.

Nếu tôi hiển thị bảng địa chỉ mac trên mỗi công tắc, tôi sẽ thấy rằng Công tắc 2 luôn có địa chỉ MAC của VMKernel được gán cho cổng của công tắc được kết nối với máy chủ ESXi. Tuy nhiên, Switch 1 liên tục thêm và xóa địa chỉ MAC của VMKernel trên cổng vật lý tương ứng của nó. Bất cứ lúc nào Switch 1 có MAC của VMKernel được gán cho cổng vật lý của nó, thì ping không thành công.

Lý do cho sự thất bại là rõ ràng.Lý do tại sao Switch 1 thường xuyên lấy địa chỉ MAC của cổng ESXi VMKernel là một câu hỏi. Máy chủ ESXi đã chọn giao diện được kết nối với Switch 2 làm cổng hoạt động. Giao diện được kết nối với Công tắc 1 sẽ không hoạt động. Tuy nhiên, có vẻ như nó có thể đáp ứng các yêu cầu ARP?

Điều đáng chú ý là không có máy ảo nào trên máy chủ này gặp sự cố này. Tất cả chúng đều có thể truy cập được và chỉ có mặt trong một bảng MAC tại một thời điểm. Sự cố này đặc biệt ảnh hưởng đến cổng VMKernel.

Điều gì về cấu hình này là sai? Tôi đang tìm kiếm một số loại tài liệu hoặc giải thích về giải pháp cho vấn đề này. Tôi biết rằng việc đặt cổng VMKernel ở chế độ Hoạt động/Chờ có thể sẽ giải quyết được sự cố. Tuy nhiên, tôi không thể tìm thấy bất kỳ tài liệu nào giải thích tại sao cấu hình hiện tại này lại có vấn đề.

CẬP NHẬT:

  • Tôi đã tắt CDP trên vSwitch vì nghĩ rằng nó có thể gây ra giao tiếp qua NIC không hoạt động.
  • Tôi đã ghi đè cài đặt vSwitch cho cổng VMKernel và đặt nó để sử dụng chuyển đổi dự phòng rõ ràng và Hoạt động/Chờ. Tôi cũng đã đặt NIC dự phòng trong nhóm không sử dụng. Không ai trong số đó giúp được. Điều gì đã giải quyết vấn đề là thay đổi thứ tự cổng xung quanh. Vì vậy, khi cổng được kết nối với Công tắc 1 hoạt động, tôi không thấy sự cố. Địa chỉ MAC hoàn toàn không hoạt động trên Switch 2. Đây là hai thẻ NIC khác nhau đáng kể và tôi tự hỏi liệu đây có phải là một loại vấn đề về trình điều khiển hay không.

Phải có điều gì đó khiến địa chỉ MAC của VMKernel được nhìn thấy trên cổng của Switch 1, nhưng cứ sau vài giây, địa chỉ này lại xuất hiện và biến mất.

Chuyển đổi cấu hình cho STP và cổng: Công tắc 1

!
chế độ cây bao trùm nhanh chóng-pvst
spanning-tree portfast edge mặc định
cây bao trùm mở rộng id hệ thống
!
giao diện Port-channel1
 truy cập switchport vlan 11
 đóng gói thân tổng đài dot1q
 trung kế chế độ switchport
!
giao diện GigabitEthernet1/0/7
 truy cập switchport vlan 11
 truy cập chế độ switchport
!
giao diện GigabitEthernet1/0/23
 truy cập switchport vlan 11
 đóng gói thân tổng đài dot1q
 trung kế chế độ switchport
 chế độ nhóm kênh 1 mong muốn
!
giao diện GigabitEthernet1/0/24
 truy cập switchport vlan 11
 đóng gói thân tổng đài dot1q
 trung kế chế độ switchport
 chế độ nhóm kênh 1 mong muốn

Công tắc 2

!
chế độ cây bao trùm nhanh chóng-pvst
spanning-tree portfast edge mặc định
cây bao trùm mở rộng id hệ thống
!
giao diện Port-channel1
 truy cập switchport vlan 11
 đóng gói thân tổng đài dot1q
 trung kế chế độ switchport
!
giao diện GigabitEthernet1/0/3
 truy cập switchport vlan 11
 truy cập chế độ switchport
!
giao diện GigabitEthernet1/0/23
 truy cập switchport vlan 11
 đóng gói thân tổng đài dot1q
 trung kế chế độ switchport
 chế độ nhóm kênh 1 mong muốn
!
giao diện GigabitEthernet1/0/24
 truy cập switchport vlan 11
 đóng gói thân tổng đài dot1q
 trung kế chế độ switchport
 chế độ nhóm kênh 1 mong muốn
Điểm:3
lá cờ in

Quản lý vmk trong ESXI giả sử địa chỉ MAC của Nic trong khe cắm PCI đầu tiên trong quá trình thiết lập ban đầu. Đây là cách nó đã làm việc mãi mãi. Điều này chỉ có thể phá vỡ mọi thứ khi thiết bị vật lý cũng bắt đầu gửi gói. Điều này thường không xảy ra, Nics vật lý không gửi lưu lượng truy cập, chúng chuyển lưu lượng truy cập theo. Hành vi này cũng cần được chú ý nếu bạn quyết định di chuyển Nics vật lý từ máy chủ này sang máy chủ khác, điều này sẽ làm giảm 2 kết nối máy chủ khi công tắc vật lý bị hỏng. Tôi đoán là Nic này đã bắt đầu báo cáo lưu lượng CDP/LLDP và đây là lúc công tắc của bạn nhận thấy sự trùng lặp MAC. Giải pháp đơn giản nhất là xây dựng lại vmk thông qua dòng lệnh. Điều này sẽ cần được thực hiện từ quyền truy cập bảng điều khiển trực tiếp (DCUI) (KVM, ILO, IDRAC, v.v.).

Đây là các lệnh; (Điều chỉnh tên IP/mặt nạ mạng con/tên nhóm cổng, v.v... để phù hợp với nhu cầu của bạn.)

loại bỏ giao diện ip mạng esxcli --interface-name=vmk0

mạng esxcli vswitch portgroup chuẩn thêm -p Management_Network -v vSwitch0

giao diện ip mạng esxcli thêm --interface-name=vmk0 --portgroup-name=Management_Network

esxcli network vswitch standard portgroup set -p Management_Network --vlan-id 50

esxcli giao diện ip mạng ipv4 set --interface-name=vmk0 --ipv4=192.168.50.116 --netmask=255.255.255.0 --gateway=192.168.50.1 --type=static

thẻ giao diện ip mạng esxcli add -i vmk0 -t Management

Thao tác này sẽ xây dựng lại vmk quản lý bằng địa chỉ MAC của VMware để loại bỏ sự cố này. Tuy nhiên, tôi khuyên bạn nên liên hệ với nhà cung cấp/nhà sản xuất phần cứng để biết quy trình tắt CDP/LLDP đến từ thẻ vật lý. Điều này sẽ giải quyết một sự cố máy chủ ESXi này, nhưng bạn sẽ khiến nó xảy ra với những người khác nếu bạn cho phép (các) thẻ tiếp tục thực hiện chức năng này. Nếu đây là một vấn đề lớn như bạn nghĩ ban đầu, VMware sẽ không phải là một công ty khổng lồ, điều này không phổ biến lắm...

Appleoddity avatar
lá cờ ng
Anh nói trúng phóc. Vấn đề là một tác nhân LLDP cấp phần cứng gửi các gói LLDP có cùng địa chỉ MAC. Bây giờ tôi cần phải quyết định cách tốt nhất để giải quyết vấn đề. Giải pháp của bạn là hoàn toàn hợp lý, chỉ là tôi không có quyền truy cập vật lý dễ dàng vào máy chủ. Tôi có thể nâng cấp bản quyền iDrac hoặc sử dụng tay và mắt từ xa. Nhưng, nếu tôi làm điều đó, tôi cũng có thể vào BIOS và tắt tác nhân LLDP (hình như). Thật là một nỗi đau. Cảm ơn một lần nữa.
Điểm:2
lá cờ ru

Tôi đã chạy một thiết lập cực kỳ giống nhau trong nhiều năm mà không gặp bất kỳ sự cố nào.

Bạn đã cấu hình các cổng chuyển đổi như thế nào? Bạn không nên làm bất cứ điều gì đặc biệt (không (M)LAG/LACP) vì ESXi lo mọi thứ. Bạn có thể sắp xếp các công tắc, chỉ cần không tổng hợp các cổng, định cấu hình bất kỳ phản chiếu trạng thái liên kết nào hoặc tương tự.

Switch2 phải có MAC của cổng VMkernel trên cổng hướng tới ESXi và switch1 trên cổng hướng tới switch2, vĩnh viễn.

MAC vỗ qua lại có thể do một vấn đề khác như thay đổi cấu trúc liên kết STP thường xuyên (điều này thường không được ESXi nhìn thấy nhưng vẫn có thể xảy ra). Kiểm tra nhật ký của công tắc xem có bất kỳ sự bất thường nào không.

Lý do tại sao Switch 1 thường xuyên lấy địa chỉ MAC của cổng ESXi VMKernel là một câu hỏi.

Không có bất kỳ LAG nào chỉ có thể xảy ra nếu máy chủ thực sự gửi các khung có MAC của cổng VMK tới switch1. Nó thường không làm như vậy trừ khi liên kết đến switch2 không thành công.

Giao diện được kết nối với Công tắc 1 sẽ không hoạt động.

Đối với cổng VMK, vâng. Có thể có lưu lượng VM được gắn vào cùng một nhóm cổng.

Tuy nhiên, có vẻ như nó có thể đáp ứng các yêu cầu ARP?

ARP hay không, các khung có MAC cổng VMK không bắt nguồn từ cổng khác mà không có lý do.

Appleoddity avatar
lá cờ ng
Cảm ơn vi đa trả lơi. Các thiết bị chuyển mạch là cổng truy cập tiêu chuẩn. Không có gì đặc biệt. Tôi thấy có hàng triệu BDPU được gửi từ Công tắc 1 đến Công tắc 2. Tôi không chắc điều đó có liên quan hay không. Đối với tôi, có vẻ như Switch 1 đang thấy lưu lượng truy cập từ giao diện ESXi được kết nối với nó và tạm thời thêm MAC vào bảng của nó.Tuy nhiên, bộ điều hợp đó phải ở trạng thái "không hoạt động". Tôi nghĩ rằng tôi đã làm được điều gì đó bằng cách tắt CDP trên bộ điều hợp vật lý, nhưng nó không tạo ra bất kỳ sự khác biệt nào. Cũng không thay đổi VMKernel sang chế độ Hoạt động/Chờ. Nói cách khác, có bất kỳ thứ gì trên vSwitch ở chế độ Đang hoạt động/Đang hoạt động sẽ gây ra sự cố này.
Zac67 avatar
lá cờ ru
*hàng triệu BDPU được gửi từ Công tắc 1 đến Công tắc 2* dường như không bình thường - Các BPDU thường chỉ được gửi trên các cổng được chỉ định (=tới cổng gốc), cứ sau 2 giây. Ngoài ra, bộ điều hợp không hoạt động khi bạn đang chạy active-active. vNIC được đính kèm theo số cổng ảo (gần như ngẫu nhiên) và ở đó. Nếu bạn muốn chủ động-thụ động, bạn cần di chuyển một cổng xuống *Bộ điều hợp dự phòng*. Không, CDP/LLDP không tạo ra sự khác biệt, tôi sẽ để nó hoạt động. Sự cố xảy ra với Hoạt động/Chờ *rất nhiều* cho biết có sự cố với cấu hình công tắc.
Zac67 avatar
lá cờ ru
Bạn có thể thêm các cấu hình đã được làm sạch (ít nhất là các phần có liên quan đến các cổng và STP) cho câu hỏi của bạn không? Nhật ký chuyển đổi có hiển thị gì không?
Appleoddity avatar
lá cờ ng
Chào. Cảm ơn bạn đã giúp đỡ của bạn về điều này. Thông tin cập nhật của bạn được cập nhật và chúng tôi đồng ý. Tuy nhiên, các gói từ thẻ không hoạt động sẽ không được nhìn thấy trên Công tắc 1. Tôi đã cập nhật bài đăng gốc của mình. Nếu tôi thay đổi thứ tự các cổng - tức là tôi kích hoạt NIC trên Công tắc 1, sự cố sẽ biến mất và Công tắc 2 không thấy lưu lượng truy cập từ NIC không hoạt động. Nếu tôi trao đổi chúng trở lại, vấn đề lại xuất hiện. Đây là hai NIC khác nhau đáng kể. Tôi tự hỏi nếu đây là một số loại vấn đề trình điều khiển. Tôi đánh giá cao sự tập trung vào các công tắc, nhưng tất cả mọi thứ đều hướng đến các khung hình đến từ NIC không hoạt động vì lý do nào đó???
Appleoddity avatar
lá cờ ng
đã thêm cấu hình chuyển đổi. Đây là một cấu hình switch khá cơ bản. Không có gì đặc biệt. STP chỉ được bật vì có kết nối với một nhóm công tắc khác qua 2 cáp ethernet và hai công tắc này trong cuộc thảo luận không được xếp chồng lên nhau. Một lần nữa, sử dụng `hiển thị giao diện bảng địa chỉ mac gi1/0/7` hiển thị địa chỉ MAC VMKernel xuất hiện trong và ngoài. Như trên công tắc kia, MAC ổn định, như mong đợi.
Zac67 avatar
lá cờ ru
Bạn có một cây cầu gốc được xác định rõ? Các thiết bị chuyển mạch khác cũng đang chạy RPVST+ hoặc RSTP/MSTP? Cổng 23 & 23 dưới dạng kênh cổng là liên kết xếp chồng? Và 7 và 4 là liên kết máy chủ?
Điểm:1
lá cờ tr

Cấu hình cổng chuyển đổi mà bạn đã đăng cho thấy rằng bạn đang sử dụng kênh cổng trên các công tắc xúc tác.

Chỉ cần không làm điều đó! Với các máy chủ ESXi độc lập, tính năng này không được hỗ trợ. ESXi chỉ đảm nhiệm việc cân bằng tải và chuyển đổi dự phòng trong phần mềm. Nếu bạn hoàn toàn muốn sử dụng các kênh cổng dựa trên bộ chuyển đổi bên ngoài thì điều này yêu cầu bạn sử dụng vCenter và một bộ chuyển đổi phân tán.

Nhìn thấy https://kb.vmware.com/s/article/82609https://kb.vmware.com/s/article/1001938 để biết thêm chi tiết.

Appleoddity avatar
lá cờ ng
Cảm ơn vi đa trả lơi. Kênh cổng không được định cấu hình trên bất kỳ cổng nào được kết nối với ESXi. Đây là các trung kế giữa các thiết bị chuyển mạch của Cisco.

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.