Tôi đang cố gắng tạo một cụm HA k3s bằng Proxmox và một nhóm nhỏ Raspberriy PI 4B.
Đối với PI, mọi thứ đều hoạt động tốt, nhưng khi cố gắng cài đặt bản gốc trên máy ảo Proxmox thì nó sẽ không khởi động.
Thiết lập của tôi:
- Máy chủ: Proxmox 7.0.7 (Tôi cũng đã thử với 6.4.4)
- Khách: Ubuntu 20.04.2
- K3S: v1.21.3+k3s1 (Tôi cũng đã thử với v1.19.13+k3s1)
- MariaDB: 10.3
Tôi đang chạy các lệnh này để cài đặt bản gốc
xuất K3S_DATASTORE_ENDPOINT='mysql://DB_USER:DB_PASSWORD@tcp(DB_IP:DB_PORT)/DB_SCHEME'
cuộn tròn -sfL https://get.k3s.io | sh -s - server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANCER_IP
Đây là đầu ra của quá trình cài đặt và khởi động:
[INFO] Sử dụng v1.19.13+k3s1 làm bản phát hành
[INFO] Đang tải xuống hàm băm https://github.com/k3s-io/k3s/releases/download/v1.19.1 3+k3s1/sha256sum-amd64.txt
[INFO] Đang tải xuống tệp nhị phân https://github.com/k3s-io/k3s/releases/download/v1.19 .13+k3s1/k3s
[INFO] Đang xác minh tải xuống nhị phân
[INFO] Cài đặt k3s vào /usr/local/bin/k3s
[INFO] Tạo liên kết tượng trưng /usr/local/bin/kubectl tới k3s
[INFO] Tạo liên kết tượng trưng /usr/local/bin/crictl tới k3s
[INFO] Tạo liên kết tượng trưng /usr/local/bin/ctr tới k3s
[INFO] Tạo tập lệnh killall /usr/local/bin/k3s-killall.sh
[INFO] Tạo tập lệnh gỡ cài đặt /usr/local/bin/k3s-uninstall.sh
[INFO] env: Tạo tập tin môi trường /etc/systemd/system/k3s.service.env
[INFO] systemd: Tạo tệp dịch vụ /etc/systemd/system/k3s.service
[INFO] systemd: Kích hoạt đơn vị k3s
Đã tạo liên kết tượng trưng /etc/systemd/system/multi-user.target.wants/k3s.service â /etc/systemd/system/k3s.service.
[INFO] systemd: Khởi động k3s
Công việc cho k3s.service không thành công vì quá trình kiểm soát đã thoát với mã lỗi.
Xem "systemctl status k3s.service" và "journalctl -xe" để biết chi tiết.
Tôi đã kiểm tra các bản ghi:
trạng thái systemctl k3s.service
â k3s.service - Kubernetes nhẹ
Đã tải: đã tải (/etc/systemd/system/k3s.service; đã bật; giá trị đặt sẵn của nhà cung cấp: đã bật)
Hoạt động: kích hoạt (tự động khởi động lại) (Kết quả: mã thoát) kể từ Thứ Ba 2021-08-03 20:27:40 UTC; 2 giây trước
Tài liệu: https://k3s.io
Quá trình: 6181 ExecStartPre=/bin/sh -xc ! /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service (code=exited, status=0/SUCCESS)
Quá trình: 6193 ExecStartPre=/sbin/modprobe br_netfilter (code=exited, status=0/SUCCESS)
Quá trình: 6194 Lớp phủ ExecStartPre=/sbin/modprobe (mã=đã thoát, trạng thái=0/THÀNH CÔNG)
Quá trình: 6195 ExecStart=/usr/local/bin/k3s server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANNCER_IP (mã=đã thoát, trạng thái=1/THẤT BẠI)
PID chính: 6195 (mã=đã thoát, trạng thái=1/THẤT BẠI)
Ngày 03 tháng 8 20:27:40 k3svm1 systemd[1]: k3s.service: Quá trình chính đã thoát, mã=đã thoát, trạng thái=1/THẤT BẠI
Ngày 03 tháng 8 20:27:40 k3svm1 systemd[1]: k3s.service: Không thành công với kết quả là 'mã thoát'.
Ngày 03 tháng 8 20:27:40 k3svm1 systemd[1]: Không khởi động được Light Kubernetes.
và:
tạp chíctl -u k3s.service
Ngày 03 tháng 8 20:06:17 k3svm1 systemd[1]: Bắt đầu Light Kubernetes...
Ngày 03 tháng 8 20:06:17 k3svm1 sh[19450]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
Ngày 03 tháng 8 20:06:17 k3svm1 sh[19451]: Không nhận được trạng thái tệp đơn vị cho nm-cloud-setup.service: Không có tệp hoặc thư mục như vậy
Ngày 03 tháng 8 20:06:17 k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="Đang lấy tệp khóa /var/lib/rancher/k3s/data/.lock"
Ngày 03 tháng 8 20:06:17 k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="Đang chuẩn bị dữ liệu dir /var/lib/rancher/k3s/data/9df574741d2573cbbe6616e8624488b36b33140d077"bc677d18bc677d18b677d1b0bc677d1
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.748397535Z" level=info msg="Đang khởi động k3s v1.21.3+k3s1 (1d1f220f)"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751745749Z" level=info msg="Định cấu hình tổng hợp kết nối cơ sở dữ liệu mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751876220Z" level=info msg="Đang định cấu hình lược đồ và chỉ mục bảng cơ sở dữ liệu, quá trình này có thể mất chút thời gian..."
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.753348552Z" level=info msg="Bảng cơ sở dữ liệu và chỉ mục được cập nhật"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.757714719Z" level=info msg="Kine đang nghe trên unix://kine.sock"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.764631916Z" level=info msg="chứng chỉ CN=system:admin,O=system:masters được ký bởi CN=k3s -client-ca@1628021178: notB Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:>
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.765377675Z" level=info msg="certificate CN=system:kube-controller-manager được ký bởi CN=k3s-client -ca@1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20>
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766187231Z" level=info msg="certificate CN=system:kube-scheduler được ký bởi CN=k3s-client-ca @1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0>
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766815165Z" level=info msg="certificate CN=kube-apiserver được ký bởi CN=k3s-client-ca@1628021178 : not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 UTC"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767415198Z" level=info msg="certificate CN=system:kube-proxy được ký bởi CN=k3s-client-ca @1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 >
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767950031Z" level=info msg="certificate CN=system:k3s-controller được ký bởi CN=k3s-client-ca @1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0>
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.768698847Z" level=info msg="certificate CN=k3s-cloud-controller-manager được ký bởi CN=k3s-client -ca@1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:0>
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.769745716Z" level=info msg="certificate CN=kube-apiserver được ký bởi CN=k3s-server-ca@1628021178 : not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 UTC"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.770870630Z" level=info msg="certificate CN=system:auth-proxy được ký bởi CN=k3s-request-header -ca@1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:1>
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.771882180Z" level=info msg="certificate CN=etcd-server được ký bởi CN=etcd-server-ca@1628021178 : not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 UTC"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.772508382Z" level=info msg="certificate CN=etcd-client được ký bởi CN=etcd-server-ca@1628021178 : not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 UTC"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.773399505Z" level=info msg="certificate CN=etcd-peer được ký bởi CN=etcd-peer-ca@1628021178 : not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 UTC"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813171353Z" level=info msg="certificate CN=k3s,O=k3s được ký bởi CN=k3s-server-ca @1628021178: not Before=2021-08-03 20:06:18 +0000 UTC notafter=2022-08-03 20:06:18 +0000 UTC"
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813556476Z" level=info msg="Bí mật TLS đang hoạt động (ver=) (đếm 9): map[listener.cattle .io/cn-10.43.0.1:10.43.0.1 listener.cattle.io/cn-127.0.0.1:127.0.0.1 listener.cattle.io/cn->
Ngày 03 tháng 8 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.819862032Z" level=fatal msg="khởi động kubernetes: chuẩn bị máy chủ: dữ liệu bootstrap đã được tìm thấy và mã hóa bằng mã thông báo khác"
Ngày 03 tháng 8 20:06:18 k3svm1 systemd[1]: k3s.service: Quá trình chính đã thoát, mã=đã thoát, trạng thái=1/THẤT BẠI
Ngày 03 tháng 8 20:06:18 k3svm1 systemd[1]: k3s.service: Không thành công với kết quả là 'mã thoát'.
Ngày 03 tháng 8 20:06:18 k3svm1 systemd[1]: Không khởi động được Light Kubernetes.
03 tháng 8 20:06:23 k3svm1 systemd[1]: k3s.service: Công việc khởi động lại theo lịch trình, bộ đếm khởi động lại ở mức 1.
Ngày 03 tháng 8 20:06:23 k3svm1 systemd[1]: Dừng Kubernetes hạng nhẹ.
Ngày 03 tháng 8 20:06:23 k3svm1 systemd[1]: Bắt đầu Light Kubernetes...
Ngày 03 tháng 8 20:06:23 k3svm1 sh[19478]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
Ngày 03 tháng 8 20:06:23 k3svm1 sh[19483]: Không nhận được trạng thái tệp đơn vị cho nm-cloud-setup.service: Không có tệp hoặc thư mục như vậy
Ngày 03 tháng 8 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.115279840Z" level=info msg="Đang khởi động k3s v1.21.3+k3s1 (1d1f220f)"
Ngày 03 tháng 8 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119390931Z" level=info msg="Định cấu hình tổng hợp kết nối cơ sở dữ liệu mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
Ngày 03 tháng 8 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119554649Z" level=info msg="Đang định cấu hình lược đồ và chỉ mục bảng cơ sở dữ liệu, quá trình này có thể mất chút thời gian..."
Ngày 03 tháng 8 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.121305745Z" level=info msg="Bảng cơ sở dữ liệu và chỉ mục được cập nhật"
Ngày 03 tháng 8 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.125898745Z" level=info msg="Kine đang nghe trên unix://kine.sock"
Ngày 03 tháng 8 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.146164308Z" level=fatal msg="khởi động kubernetes: chuẩn bị máy chủ: dữ liệu bootstrap đã được tìm thấy và mã hóa bằng mã thông báo khác"
Ngày 03 tháng 8 20:06:24 k3svm1 systemd[1]: k3s.service: Quá trình chính đã thoát, mã=đã thoát, trạng thái=1/THẤT BẠI
Ngày 03 tháng 8 20:06:24 k3svm1 systemd[1]: k3s.service: Không thành công với kết quả là 'mã thoát'.
Ngày 03 tháng 8 20:06:24 k3svm1 systemd[1]: Không khởi động được Light Kubernetes.
03 tháng 8 20:06:29 k3svm1 systemd[1]: k3s.service: Công việc khởi động lại theo lịch trình, bộ đếm khởi động lại ở mức 2.
Ngày 03 tháng 8 20:06:29 k3svm1 systemd[1]: Đã dừng Kubernetes hạng nhẹ.
Ngày 03 tháng 8 20:06:29 k3svm1 systemd[1]: Bắt đầu Light Kubernetes...
Ngày 03 tháng 8 20:06:29 k3svm1 sh[19507]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 tháng 8 20:06:29 k3svm1 sh[19508]: Không nhận được trạng thái tệp đơn vị cho nm-cloud-setup.service: Không có tệp hoặc thư mục như vậy
Ngày 03 tháng 8 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.565328025Z" level=info msg="Đang khởi động k3s v1.21.3+k3s1 (1d1f220f)"
Ngày 03 tháng 8 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568959518Z" level=info msg="Định cấu hình tổng hợp kết nối cơ sở dữ liệu mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
Ngày 03 tháng 8 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568994906Z" level=info msg="Đang định cấu hình lược đồ và chỉ mục bảng cơ sở dữ liệu, quá trình này có thể mất chút thời gian..."
Ngày 03 tháng 8 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.570693830Z" level=info msg="Bảng cơ sở dữ liệu và chỉ mục được cập nhật"
Ngày 03 tháng 8 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.575194321Z" level=info msg="Kine đang nghe trên unix://kine.sock"
Ngày 03 tháng 8 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.594809727Z" level=fatal msg="khởi động kubernetes: chuẩn bị máy chủ: dữ liệu bootstrap đã được tìm thấy và mã hóa bằng mã thông báo khác"
Ngày 03 tháng 8 20:06:29 k3svm1 systemd[1]: k3s.service: Quá trình chính đã thoát, mã=đã thoát, trạng thái=1/THẤT BẠI
Ngày 03 tháng 8 20:06:29 k3svm1 systemd[1]: k3s.service: Không thành công với kết quả là 'mã thoát'.
Ngày 03 tháng 8 20:06:29 k3svm1 systemd[1]: Không khởi động được Light Kubernetes.
03 tháng 8 20:06:34 k3svm1 systemd[1]: k3s.service: Công việc khởi động lại theo lịch trình, bộ đếm khởi động lại ở mức 3.
Ngày 03 tháng 8 20:06:34 k3svm1 systemd[1]: Đã dừng Kubernetes hạng nhẹ.
Ngày 03 tháng 8 20:06:34 k3svm1 systemd[1]: Bắt đầu Light Kubernetes...
Ngày 03 tháng 8 20:06:34 k3svm1 sh[19527]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 tháng 8 20:06:34 k3svm1 sh[19530]: Không nhận được trạng thái tệp đơn vị cho nm-cloud-setup.service: Không có tệp hoặc thư mục như vậy
Từ đó khởi động lại tiếp tục.
Như đã đề cập, tôi đã thử với nhiều phiên bản, nhưng dường như không có gì hoạt động. Ngoài ra tôi không thực sự nhận được một lỗi.
Gợi ý duy nhất mà tôi tìm thấy trong các sự cố GitHub khác nhau là kích hoạt tính năng chứa đối với Raspberry PI bằng cách chỉnh sửa /boot/cmdline.txt.
Tuy nhiên, tôi không gặp sự cố trên PI mà là trên Proxmox-VM.
Có cái gì tôi đang mất tích?
Bằng cách nào đó anh chàng này quản lý để làm cho nó chạy trong cùng một thiết lập.
Có ai khác làm cho nó chạy và có thể cung cấp một số tài liệu tham khảo?
