Không thể phát hiện thiết bị CUDA sau khi khởi động lại Google Cloud Notebook

Sự cố này xảy ra khi tôi khởi động lại máy chủ máy tính xách tay đám mây của mình hôm nay. Có thể sao chép bằng các bước dưới đây:

1. Tạo máy chủ Google Cloud Notebook với Tensorflow hoặc Pytorch và GPU

2. Sau khi khởi động máy chủ, hãy mở bảng điều khiển python:

>>> đèn pin nhập khẩu
>>> torch.cuda.is_available()
Thật

Thiết bị CUDA có sẵn cho đến bây giờ.

3. Khởi động lại máy chủ và mở lại sổ ghi chép.

>>> đèn pin nhập khẩu
>>> torch.cuda.is_available()
/opt/conda/lib/python3.7/site-packages/torch/cuda/__init__.py:52: Cảnh báo người dùng: Khởi tạo CUDA: Lỗi không xác định CUDA - điều này có thể là do môi trường được thiết lập không chính xác, ví dụ: thay đổi biến env CUDA_VISIBLE_DEVICES sau khi bắt đầu chương trình. Đặt các thiết bị có sẵn bằng không. (Được kích hoạt nội bộ tại /opt/conda/conda-bld/pytorch_1614378098133/work/c10/cuda/CUDAFunctions.cpp:109.)
  trả lại ngọn đuốc._C._cuda_getDeviceCount() > 0
Sai

nvidia-smi lệnh hoạt động tốt.

+--------------------------------------------- ----------------------------- +
| Phiên bản trình điều khiển NVIDIA-SMI 450.80.02: 450.80.02 Phiên bản CUDA: 11.0 |
|-------------------------------------+----------------- -----+----------------------+
| Tên GPU Persistence-M| Bus-Id Disp.A | Dễ bay hơi Uncorr. ECC |
| Fan Temp Perf Pwr:Sử dụng/Giới hạn| Sử dụng bộ nhớ | GPU-Util Compute M. |
| | | MIG M. |
|=================================================== =====+======================|
| 0 Tesla T4 Tắt | 00000000:00:04.0 Tắt | 0 |
| Không áp dụng 43C P0 16W / 70W | 0MiB / 15109MiB | 0% mặc định |
| | | Không áp dụng |
+------------------------------------+----------------- -----+----------------------+
                                                                               
+--------------------------------------------- ----------------------------- +
| Quy trình: |
| GPU GI CI Loại PID Tên quy trình Bộ nhớ GPU |
| ID ID Sử dụng |
|================================================= ============================|
| Không tìm thấy quy trình đang chạy nào |
+--------------------------------------------- ----------------------------- +

nvcc: Trình điều khiển trình biên dịch NVIDIA (R) Cuda
Bản quyền (c) 2005-2020 Tập đoàn NVIDIA
Được xây dựng vào Thu_Jun_11_22:26:38_PDT_2020
Công cụ biên dịch Cuda, phát hành 11.0, V11.0.194
Bản dựng cuda_11.0_bu.TC445_37.28540450_0

Sự cố này cũng có thể được sao chép bằng cách sử dụng TensorFlow. Làm thế nào để khắc phục loại trường hợp này?

Lựa chọn 1:
Nâng cấp môi trường của phiên bản Notebooks. tham khảo liên kết nâng cấp.
Các phiên bản Notebook có thể được nâng cấp là phiên bản đĩa kép, với một đĩa khởi động và một đĩa dữ liệu. Quá trình nâng cấp sẽ nâng cấp đĩa khởi động lên một hình ảnh mới trong khi vẫn bảo toàn dữ liệu của bạn trên đĩa dữ liệu.

Tùy chọn2:
Kết nối với máy tính xách tay VM qua SSH và chạy các lệnh liên kết.
Sau khi thực hiện các lệnh, phiên bản cuda sẽ cập nhật lên 11.3 và phiên bản trình điều khiển nvidia thành 465.19.01.
Khởi động lại máy tính xách tay VM.

Ghi chú: Sự cố đã được giải quyết trong hình ảnh gpu. Sổ ghi chép mới sẽ được tạo với phiên bản hình ảnh M74. Về phiên bản hình ảnh mới vẫn chưa được cập nhật trong google-public-issue-theo dõi nhưng bạn có thể tìm thấy phiên bản hình ảnh mới M74 trong bảng điều khiển.