Cách tăng tốc RAID 5 bằng mdadm + luks + lvm

Tôi nghĩ rằng tôi hơi lạc lõng với thiết lập máy chủ hiện tại của mình. Đó là một chiếc HP Proliant dl160 gen 6, và tôi đã đặt 4 đĩa quay với thiết lập có mdmadm + luks + lvm và trên đó là btrfs (có lẽ tôi đã đi quá xa?) 50MB/s và ghi khoảng 2MB/s và tôi có cảm giác rằng mình đã làm hỏng thứ gì đó.

Một trong những điều tôi lưu ý là tôi đã thiết lập mdadm trên thiết bị khối (sbd) chứ không phải trên phân vùng (sdb1), điều đó có ảnh hưởng gì không?

Ở đây bạn có thể thấy đầu ra của fio fio --name=randwrite --rw=randwrite --direct=1 --bs=16k --numjobs=128 --size=200M --runtime=60 --group_reporting khi gần như không sử dụng máy.

randwrite: (groupid=0, jobs=128): err= 0: pid=54290: Thứ ba ngày 26 tháng 10 16:21:50 năm 2021
  viết: IOPS=137, BW=2193KiB/s (2246kB/s)(131MiB/61080msec); 0 vùng đặt lại
    clat (msec): min=180, max=2784, avg=924,48, stdev=318,02
     lat (msec): min=180, max=2784, avg=924,48, stdev=318,02
    phần trăm clat (msec):
     | Thứ 1.00=[ 405], thứ 5.00=[ 542], thứ 10.00=[ 600], thứ 20.00=[ 693],
     | Thứ 30,00=[ 760], thứ 40,00=[ 818], thứ 50,00=[ 860], thứ 60,00=[ 927],
     | Thứ 70,00=[ 1011], 80,00=[ 1133], 90,00=[ 1267], 95,00=[ 1452],
     | Thứ 99,00=[ 2165], 99,50=[ 2232], 99,90=[ 2635], 99,95=[ 2769],
     | 99,99th=[ 2769]
   bw (KiB/s): tối thiểu= 3972, tối đa= 4735, mỗi=100,00%, trung bình=4097,79, stdev= 1,58, mẫu=8224
   iops: tối thiểu = 132, tối đa = 295, trung bình = 248,40, stdev = 0,26, mẫu = 8224
  lat (msec): 250=0,04%, 500=2,82%, 750=25,96%, 1000=40,58%, 2000=28,67%
  lat (msec): >=2000=1,95%
  cpu: usr=0,00%, sys=0,01%, ctx=18166, majf=0, minf=1412
  Độ sâu IO: 1=100,0%, 2=0,0%, 4=0,0%, 8=0,0%, 16=0,0%, 32=0,0%, >=64=0,0%
     gửi : 0=0,0%, 4=100,0%, 8=0,0%, 16=0,0%, 32=0,0%, 64=0,0%, >=64=0,0%
     hoàn thành : 0=0,0%, 4=100,0%, 8=0,0%, 16=0,0%, 32=0,0%, 64=0,0%, >=64=0,0%
     rwts đã phát hành: tổng=0,8372,0,0 ngắn=0,0,0,0 giảm=0,0,0,0
     độ trễ: mục tiêu = 0, cửa sổ = 0, phần trăm = 100,00%, độ sâu = 1

Chạy trạng thái nhóm 0 (tất cả công việc):
  VIẾT: bw=2193KiB/s (2246kB/s), 2193KiB/s-2193KiB/s (2246kB/s-2246kB/s), io=131MiB (137MB), chạy=61080-61080msec

Cập nhật 1 lần ghi tuần tự với dd

root@hp-proliant-dl160-g6-1:~# dd if=/dev/zero of=disk-test oflag=direct bs=512k count=100
100+0 bản ghi trong 100+0 bản ghi ra 52428800 byte (52 MB, 50 MiB) được sao chép, 5,81511 giây, 9,0 MB/s

Hạt nhân: 5.4.0-89-chung

Hệ điều hành: Ubuntu 20.04.3

mdadm: 4.1-5ubuntu1.2

lvm2: 2.03.07-1ubuntu1

đầu ra blkid

/dev/mapper/dm_crypt-0: UUID="r7TBdk-1GZ4-zbUh-007u-BfuP-dtis-bTllYi" TYPE="LVM2_member"
/dev/sda2: UUID="64528d97-f05c-4f34-a238-f7b844b3bb58" UUID_SUB="263ae70e-d2b8-4dfe-bc6b-bbc2251a9f32" TYPE="btrfs" PARTUUID="494be592-3dad-4600-b954-e29b12e"4
/dev/sdb: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="4aeb4804-6380-5421-6aea-d090e6aea8a0" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/sdc: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="9d5a4ddd-bb9e-bb40-9b21-90f4151a5875" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/sdd: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="f08b5e6d-f971-c622-cd37-50af8ff4b308" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/sde: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="362025d4-a4d2-8727-6853-e503c540c4f7" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/md0: UUID="a5b5bf95-1ff1-47f9-b3f6-059356e3af41" TYPE="crypto_LUKS"
/dev/mapper/vg0-lv--0: UUID="6db4e233-5d97-46d2-ac11-1ce6c72f5352" TYPE="swap"
/dev/mapper/vg0-lv--1: UUID="4e1a5131-cb91-48c4-8266-5b165d9f5071" UUID_SUB="e5fc407e-57c2-43eb-9b66-b00207ea6d91" TYPE="btrfs"
/dev/loop0: TYPE="squashfs"
/dev/loop1: TYPE="squashfs"
/dev/loop2: TYPE="squashfs"
/dev/loop3: TYPE="squashfs"
/dev/loop4: TYPE="squashfs"
/dev/loop5: TYPE="squashfs"
/dev/loop6: TYPE="squashfs"
/dev/loop7: TYPE="squashfs"
/dev/loop8: TYPE="squashfs"
/dev/loop9: TYPE="squashfs"
/dev/loop10: TYPE="squashfs"
/dev/sda1: PARTUUID="fa30c3f5-6952-45f0-b844-9bfb46fa0224"

mèo /proc/mdstat

Tính cách : [raid6] [raid5] [raid4] [tuyến tính] [đa đường] [raid0] [raid1] [raid10]
md0 : kích hoạt đột kích5 sdb[0] sdc[1] sdd[2] sde[4]
      5860147200 khối siêu 1,2 cấp 5, khối 512k, thuật toán 2 [4/4] [UUUU]
      bitmap: 2/15 trang [8KB], khối 65536KB

thiết bị không sử dụng: <none>

đĩa lshw -c

  *-đĩa
       mô tả: Đĩa SCSI
       sản phẩm: DT 101 G2
       nhà cung cấp:Kingston
       id vật lý: 0.0.0
       thông tin xe buýt: scsi@0:0.0.0
       tên logic: /dev/sda
       phiên bản: 1.00
       nối tiếp: xxxxxxxxxxxxxxxxxxxx
       kích thước: 7643MiB (8015MB)
       khả năng: có thể tháo rời
       cấu hình: ansiversion=4 logicsectorsize=512 sectorize=512
     *-Trung bình
          id vật lý: 0
          tên logic: /dev/sda
          kích thước: 7643MiB (8015MB)
          khả năng: gpt-1.00 được phân vùng được phân vùng:gpt
          cấu hình: hướng dẫn=6c166e3e-27c9-4edf-9b0d-e21892cbce41
  *-đĩa
       mô tả: Đĩa ATA
       sản phẩm: ST2000DM008-2FR1
       id vật lý: 0.0.0
       thông tin xe buýt: scsi@1:0.0.0
       tên logic: /dev/sdb
       phiên bản: 0001
       nối tiếp: xxxxxxxxxxxxxxxxxxxx
       kích thước: 1863GiB (2TB)
       khả năng: có thể tháo rời
       cấu hình: ansiversion=5 logicsectorsize=512 sectorize=4096
     *-Trung bình
          id vật lý: 0
          tên logic: /dev/sdb
          kích thước: 1863GiB (2TB)
  *-đĩa
       mô tả: Đĩa ATA
       sản phẩm: ST2000DM008-2FR1
       id vật lý: 0.0.0
       thông tin xe buýt: scsi@2:0.0.0
       tên logic: /dev/sdc
       phiên bản: 0001
       nối tiếp: xxxxxxxxxxxxxxxxxxxx
       kích thước: 1863GiB (2TB)
       khả năng: có thể tháo rời
       cấu hình: ansiversion=5 logicsectorsize=512 sectorize=4096
     *-Trung bình
          id vật lý: 0
          tên logic: /dev/sdc
          kích thước: 1863GiB (2TB)
  *-đĩa
       mô tả: Đĩa ATA
       sản phẩm: WDC WD20EZBX-00A
       Nhà cung cấp: Western Digital
       id vật lý: 0.0.0
       thông tin xe buýt: scsi@3:0.0.0
       tên logic: /dev/sdd
       phiên bản: 1A01
       nối tiếp: xxxxxxxxxxxxxxxxxxxx
       kích thước: 1863GiB (2TB)
       khả năng: có thể tháo rời
       cấu hình: ansiversion=5 logicsectorsize=512 sectorize=4096
     *-Trung bình
          id vật lý: 0
          tên logic: /dev/sdd
          kích thước: 1863GiB (2TB)
  *-đĩa
       mô tả: Đĩa ATA
       sản phẩm: WDC WD20EZBX-00A
       Nhà cung cấp: Western Digital
       id vật lý: 0.0.0
       thông tin xe buýt: scsi@4:0.0.0
       tên logic: /dev/sde
       phiên bản: 1A01
       nối tiếp: xxxxxxxxxxxxxxxxxxxx
       kích thước: 1863GiB (2TB)
       khả năng: có thể tháo rời
       cấu hình: ansiversion=5 logicsectorsize=512 sectorize=4096
     *-Trung bình
          id vật lý: 0
          tên logic: /dev/sde
          kích thước: 1863GiB (2TB)

Bạn có thấy bất cứ điều gì có thể sai trong thiết lập? Bạn có nghĩ rằng việc thêm một nvme bằng thẻ PCI và sử dụng nó để lưu vào bộ đệm sẽ hữu ích không?

Phiên bản ngắn: Tôi nghĩ có khả năng vấn đề của bạn là điểm chuẩn của bạn đang sử dụng ghi ngẫu nhiên nhỏ hơn nhiều so với kích thước khối RAID của bạn.

Bạn có nhận thấy vấn đề về hiệu suất khi sử dụng hệ thống không? Hoặc, chỉ là kết quả điểm chuẩn có vẻ xấu? Điểm chuẩn ghi ngẫu nhiên 16K đó đang tiến gần đến trường hợp xấu nhất đối với RAID 5 với khối lớn 512K.

RAID 5 có một khối chẵn lẻ phải được cập nhật cùng với dữ liệu. Nếu bạn có một khối lượng công việc tuần tự mà hạt nhân có thể chia nhỏ thành 512K bản ghi, thì bạn chỉ cần tính toán thông tin chẵn lẻ mới, sau đó ghi khối dữ liệu và khối chẵn lẻ ra. Một ghi vào chuyển thành hai viết ra.

Nhưng với 16K ghi nhỏ hơn nhiều so với kích thước khối, trước tiên bạn phải đọc dữ liệu cũ và tính chẵn lẻ cũ, sau đó tính toán thông tin chẵn lẻ mới, sau đó ghi dữ liệu mới và tính chẵn lẻ. Đó là đọc-đọc-ghi-ghi. Một lần viết dịch thành bốn I/O. Với việc ghi ngẫu nhiên, không có cách nào để ngay cả bộ điều khiển RAID tốt nhất trên hành tinh dự đoán khối nào sẽ được lưu vào bộ đệm.

Nếu bạn đang sử dụng mảng để lưu trữ các tệp lớn, thì bạn thật may mắn: bạn chỉ đang sử dụng điểm chuẩn sai để đánh giá hiệu suất của nó. Nếu bạn thay đổi viết vội đơn giản là viết trong điểm chuẩn của bạn để việc ghi diễn ra tuần tự, nó sẽ tốt hơn rất nhiều!

Nhưng nếu khối lượng công việc của bạn thực sự được tạo thành từ các ghi nhỏ, ngẫu nhiên hơn, thì bạn sẽ phải thay đổi điều gì đó về mảng. Bạn sẽ được phục vụ tốt hơn bởi RAID 10 4 đĩa. Tuy nhiên, đó vẫn là phương tiện quay vòng. Nó sẽ không khuấy động thế giới của bạn. Tôi tưởng tượng rằng hiệu suất của RAID 10 phải gấp 2 đến 3 lần so với những gì bạn hiện có, chẳng hạn như 275 đến 400 IOPS, có thể là 4MiB/s đến 6MiB/s trên điểm chuẩn đó?

Đối với việc sử dụng SSD để lưu vào bộ đệm, có lẽ với thứ gì đó như bcache, bạn sẽ loại bỏ được sự dư thừa của mình. Cân nhắc sử dụng RAID 1 của hai ổ SSD để lưu vào bộ nhớ đệm? Bạn chắc chắn không cần NVMe ở đây, với tốc độ của những ổ đĩa này. SATA sẽ ổn thôi.

(BTW, đừng đổ mồ hôi phân vùng so với thiết bị thô. Nó không tạo ra sự khác biệt. Cá nhân tôi không sử dụng phân vùng.)