Điểm:2

Xây dựng lại RAID5 không hoạt động

lá cờ us

Tôi có RAID5 7 x 14TB trong máy trạm của mình với Centos 7. Tuần trước, một trong các ổ đĩa đã được SMART (/dev/sde) đánh dấu là bị lỗi. Tôi đã sử dụng mdadm để đánh dấu ổ đĩa này là bị lỗi và xóa nó khỏi mảng và ... tóm lại là câu chuyện dài... Tôi đã rút nhầm ổ đĩa!

Bây giờ tôi có Centos ở chế độ khẩn cấp (hệ điều hành của tôi nằm trên một ổ đĩa bên ngoài mảng) và tôi có thể chạy mdadm để phân tích mảng. Có vẻ như mảng/dev/md127 của tôi không hoạt động với tất cả các ổ đĩa được đánh dấu là dự phòng.

mèo /proc/mdstat
Tính cách:
md127 : không hoạt động sdc[6](S) sdf[9](S) sdg[10](S) sde[8](S) sdd[7](S) sdb[5](S) sdh[11]( S)
95705752576 khối siêu 1.2

thiết bị không sử dụng: <none>

Vì một số lý do ở đây, nó hiển thị là đột kích0:

mdadm -D /dev/md127

/dev/md127:
Phiên bản : 1.2
Cấp độ đột kích: đột kích0
Tổng số thiết bị : 7
Kiên trì : Superblock là bền bỉ

Trạng thái: không hoạt động
Thiết bị làm việc : 7

Tên : c103950:127
UUID : a6f44e2c:352b1ea0:bd25d626:cac0177c
Sự kiện : 539502
Số Lớn Nhỏ RaidDevice

   - 8 16 - /dev/sdb
   - 8 32 - /dev/sdc
   - 8 48 - /dev/sdd
   - 8 64 - /dev/sde
   - 8 80 - /dev/sdf
   - 8 96 - /dev/sdg
   - 8 112 - /dev/sdh

Và khi tôi kiểm tra các ổ đĩa riêng lẻ:


mdadm -E /dev/sdb
/dev/sdb:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
Mảng UUID : a6f44e2c:352blea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: sạch sẽ
UUID thiết bị : 136b95a5:1589d83d:bdb059dd:e2e9e02f

Thời gian cập nhật : Thứ 5 ngày 15 tháng 7 12:47:37 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: 4e727166 - chính xác
Sự kiện : 539502

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị : Thiết bị đang hoạt động 1
Trạng thái mảng : AAAA..A ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)

****** 

mdadm -E /dev/sdc
/dev/sdc:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
UUID mảng : a6f44e2c:352b1ea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: sạch sẽ
UUID thiết bị : 64cac230:bc1e2bf5:65323067:5439f101

Thời gian cập nhật : Thứ 5 ngày 15 tháng 7 12:47:37 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: ecd93778 - chính xác
Sự kiện : 539502

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị : Thiết bị đang hoạt động 6
Trạng thái mảng : AAAA..A ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)

******

mdadm -E /dev/sdd
/dev/sdd:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
UUID mảng : a6f44e2c:352b1ea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: sạch sẽ
UUID thiết bị : 2dd7e6d6:6c035b33:0072796b:d3685558

Thời gian cập nhật : Thứ 5 ngày 15 tháng 7 12:47:37 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: 2bda98d - chính xác
Sự kiện : 539502

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị: Thiết bị đang hoạt động 0
Trạng thái mảng : AAAA..A ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)

******

mdadm -E /dev/sde
/dev/sde:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
UUID mảng : a6f44e2c:352b1ea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: đang hoạt động
UUID thiết bị : 8e6bd6de:15483efa:82c1917d:569ee387

Thời gian cập nhật : Thứ năm ngày 13 tháng 7 10:30:54 năm 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: c050eb4 - chính xác
Sự kiện : 539489

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị: Thiết bị đang hoạt động 4
Trạng thái mảng: AAAAAAA ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)

******

mdadm -E /dev/sdf
/dev/sdf:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
UUID mảng : a6f44e2c:352b1ea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: sạch sẽ
UUID thiết bị : 93452dc8:3fba28ce:c7d33d00:7c1838fd

Thời gian cập nhật : Thứ 5 ngày 15 tháng 7 12:47:37 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: e995ceb8 - chính xác
Sự kiện : 539502

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị: Thiết bị hoạt động 2
Trạng thái mảng : AAAA..A ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)

******

mdadm -E /dev/sdg
/dev/sdg:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
UUID mảng : a6f44e2c:352b1ea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: sạch sẽ
UUID thiết bị : 48fe7b1b:751e6993:4eb73b66:a1313185

Thời gian cập nhật : Thứ 5 ngày 15 tháng 7 12:47:37 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: f81be84f - chính xác
Sự kiện : 539502

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị: Thiết bị đang hoạt động 3
Trạng thái mảng : AAAA..A ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)

******

mdadm -E /dev/sdh
/dev/sdh:
Phép thuật: a92b4efc
Phiên bản : 1.2
Bản đồ đặc trưng : 0x0
UUID mảng : a6f44e2c:352b1ea0:bd25d626:cac0177c
Tên : c103950:127
Thời gian tạo : Thứ năm 26 tháng 7 12:21:27 2018
Cấp độ đột kích: đột kích5
Thiết bị đột kích: 7

Kích thước nhà phát triển khả dụng: 27344500736 cung (13038,87 GiB 14000,38 GB)
Kích thước mảng : 82033502208 KiB (78233,24 GiB 84002,31 GB)
Bù trừ dữ liệu : 264192 sector
Super Offset: 8 cung
Không gian chưa sử dụng: các cung trước-264112, các cung sau 0
Trạng thái: sạch sẽ
UUID thiết bị : 80448326:c8b82624:a8e31b97:18246b58

Thời gian cập nhật : Thứ năm ngày 15 tháng 7 12:04:35 năm 2021
Nhật ký khối xấu: 512 mục có sẵn ở 32 cung được bù
Tổng kiểm tra: 9800dd88 - chính xác
Sự kiện : 539497

Bố cục đối xứng trái
Kích thước khối: 512K

Vai trò thiết bị: Thiết bị đang hoạt động 5
Trạng thái mảng: AAAA.AA ('A'== hoạt động, '.' == thiếu, 'R' == thay thế)****** 

/dev/sde là ổ bị lỗi, trong khi /dev/sdh là ổ tôi kéo nhầm. Lưu ý sự khác biệt về sự kiện và thời gian cập nhật. Bây giờ tôi muốn tập hợp lại mảng và tự hỏi đâu là cách an toàn nhất để làm như vậy.

Hãy giúp tôi! Cảm ơn bạn đã đọc.

djdomi avatar
lá cờ za
Ồ Tuyệt, bạn đã có Raid ZERO - khôi phục bản sao lưu, hoàn thành tốt :-)
shodanshok avatar
lá cờ ca
Bạn có thể thử với `mdadm --incremental /dev/sd[abcdfgh]` không?
Mike Andrews avatar
lá cờ ng
Mdadm sẽ ngăn bạn mắc lỗi, miễn là bạn KHÔNG sử dụng `--force`. Đó là việc sử dụng `--force` khi mọi người gặp rắc rối. Bạn đang tìm cách lắp ráp mảng bao gồm ổ đĩa mà bạn đã kéo, nhưng không có ổ đĩa mà bạn `--fail`ed. Sau đó, bạn sẽ `--thêm lại` ổ đĩa mà bạn `--fail`ed sau khi mảng được thiết lập và chạy. Bạn sẽ cần thiết lập và chạy mảng. Tôi đồng ý với @shodanshok, bạn có thể chỉ cần sử dụng lắp ráp gia tăng để sao lưu và chạy.
lalmagor avatar
lá cờ us
Cảm ơn câu trả lời của bạn. --incremental dường như chính xác là những gì tôi cần nhưng tôi vẫn lo lắng rằng nó sẽ cố gắng xây dựng cái này dưới dạng Raid0 vì đây là những gì nó đang hiển thị khi tôi kiểm tra với mdadm --D. Tôi có thể làm "mdadm --incremental --level=5 /dev/sd[abcdfgh]" không? hay tôi nên làm "mdadm --create --verbose /dev/md127 --level=5 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh"?
shodanshok avatar
lá cờ ca
Tôi nghĩ rằng `--incremental` không cho phép chỉ định cấp độ đột kích. Dù sao thì các siêu khối ổ cứng của bạn dường như mô tả chính xác một mảng raid5, vì vậy tôi sẽ thử `--incremental` (***không *** bắt buộc bất cứ điều gì) để bắt đầu mảng.
lalmagor avatar
lá cờ us
Tôi đã sử dụng "mdadm --stop /dev/md127" và sau đó có thể chạy "mdadm --incremental" cho từng ổ đĩa trong số sáu ổ đĩa tốt của mình nhưng nó vẫn báo "không đủ để bắt đầu". Khi tôi chạy "mdadm --D /dev/md127", nó vẫn như vậy, tất cả đều trống và nghĩ rằng đó là đột kích0.
lalmagor avatar
lá cờ us
còn "mdadm --assemble/dev/md127/dev/sdb/dev/sdc/dev/sdd/dev/sdf/dev/sdg/dev/sdh" thì sao? Bạn có nghĩ rằng điều này sẽ làm việc? Tôi có thể chỉ định cấp độ đột kích ở đây không?
Điểm:0
lá cờ us

Tôi đã có thể giải quyết vấn đề này bằng cách chạy:

mdadm --assemble --force /dev/md127 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh

Cái nào đã khôi phục mảng của tôi ở trạng thái xuống cấp với 6/7 ổ đĩa. Nó không hoạt động nếu không có tùy chọn --force. Tôi đoán là mình đã may mắn khi không có quá nhiều sự khác biệt về số lượng sự kiện giữa /dev/sdh và phần còn lại. Sau đó đã có thể thêm đĩa mới vào mảng với:

mdadm --manage /dev/md127 --add /dev/sde

Sau 49 giờ xây dựng lại, mảng của tôi đã hoàn thành trở lại.

Tôi nghĩ rằng vấn đề của tôi tương tự như: https://unix.stackexchange.com/questions/163672/missing-mdadm-raid5-array-reassembles-as-raid0-after-powerout

Tôi cũng đã sử dụng hướng dẫn này: https://web.archive.org/web/20210302160944/http://www.tjansson.dk/2013/12/replacing-a-failed-disk-in-a-mdadm-raid/

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.