Điểm:3

ZFS và SAN: vấn đề với việc xóa dữ liệu

lá cờ cn

Làm việc với tư cách là nhà khoa học trong môi trường doanh nghiệp, chúng tôi được cung cấp tài nguyên lưu trữ từ SAN trong máy ảo Ubuntu 20.04 (Proxmox). Bộ điều khiển SAN được truyền trực tiếp tới VM (PCIe passthrough).

Bản thân SAN sử dụng phần cứng Raid 60 (không có tùy chọn nào khác được cung cấp cho chúng tôi) và cung cấp cho chúng tôi 380 TB mà chúng tôi có thể chia thành một số LUN. Chúng tôi muốn hưởng lợi từ các tính năng chụp nhanh và nén của ZFS. Chúng tôi đã chọn LUN 30 x 11 TB mà sau đó chúng tôi tổ chức thành RAID-Z sọc. Thiết lập là dự phòng (hai máy chủ), chúng tôi có các bản sao lưu và hiệu suất tốt, điều này hướng chúng tôi tới RAID-Z sọc thay vì các máy nhân bản sọc thông thường.

Không phụ thuộc vào hình dạng ZFS, chúng tôi nhận thấy rằng tải trọng ghi cao (> 1 GB/giây) trong quá trình xóa ZFS dẫn đến lỗi đĩa, cuối cùng dẫn đến các thiết bị bị lỗi. Bằng cách xem các tệp trình bày lỗi, chúng tôi có thể liên kết sự cố này với quá trình xóa đang cố truy cập dữ liệu vẫn còn trong bộ đệm của SAN. Với tải vừa phải trong quá trình chà, quá trình hoàn tất mà không có bất kỳ lỗi nào.

Có các tham số cấu hình cho ZFS hoặc cho đa đường có thể được điều chỉnh trong VM để ngăn sự cố này với bộ đệm SAN không?

Đầu ra của trạng thái zpool

  hồ bơi: sanpool
 trạng thái: TRỰC TUYẾN
  quét: chà đã sửa 0B trong 2 ngày 02:05:53 với 0 lỗi vào Thứ Năm ngày 17 tháng 3 15:50:34 2022
cấu hình:

    TÊN BANG ĐỌC VIẾT CKSUM
    sanpool TRỰC TUYẾN 0 0 0
      radz1-0 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000002e TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000002f TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000031 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000032 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000033 TRỰC TUYẾN 0 0 0
      radiz1-1 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000034 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000035 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000036 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000037 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000038 TRỰC TUYẾN 0 0 0
      radz1-2 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000062 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000063 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000064 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000065 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000066 TRỰC TUYẾN 0 0 0
      radz1-3 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000006a TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000006b TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000006c TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000006d TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000006f TRỰC TUYẾN 0 0 0
      radiz1-4 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000070 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000071 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000072 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000073 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000074 TRỰC TUYẾN 0 0 0
      radiz1-5 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000075 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000076 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000077 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b00300000079 TRỰC TUYẾN 0 0 0
        wwn-0x60060e8012b003005040b0030000007a TRỰC TUYẾN 0 0 0

lỗi: Không có lỗi dữ liệu đã biết

Đầu ra của multipath -ll

mpathr (360060e8012b003005040b00300000074) dm-18 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:25 sdz 65:144 hoạt động sẵn sàng chạy
  `- 8:0:0:25 sdbd 67:112 active sẵn sàng chạy
mpath (360060e8012b003005040b00300000064) dm-5 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:13 sdn 8:208 hoạt động sẵn sàng chạy
  `- 8:0:0:13 sdar 66:176 active sẵn sàng chạy
mpathq (360060e8012b003005040b00300000073) dm-17 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:24 sdy 65:128 hoạt động sẵn sàng chạy
  `- 8:0:0:24 sdbc 67:96 active sẵn sàng chạy
mpathd (360060e8012b003005040b00300000063) dm-4 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:12 sdm 8:192 hoạt động sẵn sàng chạy
  `- 8:0:0:12 sdaq 66:160 active sẵn sàng chạy
mpathp (360060e8012b003005040b00300000072) dm-16 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:23 sdx 65:112 hoạt động sẵn sàng chạy
  `- 8:0:0:23 sdbb 67:80 active sẵn sàng chạy
mpathc (360060e8012b003005040b00300000062) dm-3 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:11 sdl 8:176 hoạt động sẵn sàng chạy
  `- 8:0:0:11 sdap 66:144 active sẵn sàng chạy
mpatho (360060e8012b003005040b00300000071) dm-15 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:22 sdw 65:96 hoạt động sẵn sàng chạy
  `- 8:0:0:22 sdba 67:64 active sẵn sàng chạy
mpathb (360060e8012b003005040b00300000038) dm-2 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:10 sdk 8:160 hoạt động sẵn sàng chạy
  `- 8:0:0:10 sdao 66:128 hoạt động sẵn sàng chạy
mpathn (360060e8012b003005040b00300000070) dm-14 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:21 sdv 65:80 hoạt động sẵn sàng chạy
  `- 8:0:0:21 sdaz 67:48 active sẵn sàng chạy
mpatha (360060e8012b003005040b0030000002e) dm-1 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:1 sdb 8:16 hoạt động sẵn sàng chạy
  `- 8:0:0:1 sdaf 65:240 active sẵn sàng chạy
mpathz (360060e8012b003005040b00300000033) dm-26 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:5 sdf 8:80 hoạt động sẵn sàng chạy
  `- 8:0:0:5 sdaj 66:48 active sẵn sàng chạy
mpathm (360060e8012b003005040b0030000006f) dm-13 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:20 sdu 65:64 hoạt động sẵn sàng chạy
  `- 8:0:0:20 sday 67:32 active sẵn sàng chạy
cảm thông (360060e8012b003005040b00300000032) dm-25 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:4 sde 8:64 hoạt động sẵn sàng chạy
  `- 8:0:0:4 sdai 66:32 hoạt động sẵn sàng chạy
mpathl (360060e8012b003005040b0030000002f) dm-12 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:2 sdc 8:32 hoạt động sẵn sàng chạy
  `- 8:0:0:2 sdag 66:0 active sẵn sàng chạy
mpathx (360060e8012b003005040b0030000007a) dm-24 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:30 sdae 65:224 hoạt động sẵn sàng chạy
  `- 8:0:0:30 sdbi 67:192 active sẵn sàng chạy
mpathad (360060e8012b003005040b00300000037) dm-30 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:9 sdj 8:144 hoạt động sẵn sàng chạy
  `- 8:0:0:9 sdan 66:112 hoạt động sẵn sàng chạy
mpathk (360060e8012b003005040b0030000006d) dm-11 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:19 sdt 65:48 active sẵn sàng chạy
  `- 8:0:0:19 sdax 67:16 active sẵn sàng chạy
mpathw (360060e8012b003005040b00300000031) dm-23 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:3 sdd 8:48 hoạt động sẵn sàng chạy
  `- 8:0:0:3 sdah 66:16 active sẵn sàng chạy
mpathac (360060e8012b003005040b00300000036) dm-29 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:8 sdi 8:128 hoạt động sẵn sàng chạy
  `- 8:0:0:8 sdam 66:96 active sẵn sàng chạy
mpathj (360060e8012b003005040b0030000006c) dm-10 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:18 sds 65:32 hoạt động sẵn sàng chạy
  `- 8:0:0:18 sdaw 67:0 active sẵn sàng chạy
mpathv (360060e8012b003005040b00300000079) dm-22 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:29 sdad 65:208 hoạt động sẵn sàng chạy
  `- 8:0:0:29 sdbh 67:176 active sẵn sàng chạy
mpathab (360060e8012b003005040b00300000035) dm-28 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:7 sdh 8:112 hoạt động sẵn sàng chạy
  `- 8:0:0:7 sdal 66:80 hoạt động sẵn sàng chạy
mpathi (360060e8012b003005040b0030000006b) dm-9 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:17 sdr 65:16 hoạt động sẵn sàng chạy
  `- 8:0:0:17 sdav 66:240 active sẵn sàng chạy
mpathu (360060e8012b003005040b00300000077) dm-21 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:28 sdac 65:192 hoạt động sẵn sàng chạy
  `- 8:0:0:28 sdbg 67:160 active sẵn sàng chạy
mpathaa (360060e8012b003005040b00300000034) dm-27 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:6 sdg 8:96 hoạt động sẵn sàng chạy
  `- 8:0:0:6 sdak 66:64 active sẵn sàng chạy
mpathh (360060e8012b003005040b0030000006a) dm-8 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:16 sdq 65:0 active sẵn sàng chạy
  `- 8:0:0:16 sdau 66:224 active sẵn sàng chạy
mpatht (360060e8012b003005040b00300000076) dm-20 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:27 sdab 65:176 hoạt động sẵn sàng chạy
  `- 8:0:0:27 sdbf 67:144 active sẵn sàng chạy
mpathg (360060e8012b003005040b00300000066) dm-7 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:15 sdp 8:240 hoạt động sẵn sàng chạy
  `- 8:0:0:15 sdat 66:208 hoạt động sẵn sàng chạy
mpaths (360060e8012b003005040b00300000075) dm-19 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:26 sdaa 65:160 hoạt động sẵn sàng chạy
  `- 8:0:0:26 sdbe 67:128 active sẵn sàng chạy
mpathf (360060e8012b003005040b00300000065) dm-6 HITACHI,OPEN-V
size=11T features='0' hwhandler='0' wp=rw
`-+- policy='thời gian dịch vụ 0' ưu tiên=1 trạng thái=hoạt động
  |- 7:0:0:14 sdo 8:224 hoạt động sẵn sàng chạy
  `- 8:0:0:14 sdas 66:192 hoạt động sẵn sàng chạy
Andrew Henle avatar
lá cờ ph
"Bản thân SAN sử dụng phần cứng Raid 6 (không có tùy chọn nào khác được cung cấp cho chúng tôi) và cung cấp cho chúng tôi 380 TB mà chúng tôi có thể chia thành một số LUN" Vui lòng cho tôi biết nhóm lưu trữ của bạn đã không làm điều gì đó ngu ngốc như tạo một đĩa đơn mảng RAID-6 từ 32 đĩa 12TB, sau đó nói, "Herp! Derp! Đây là 380TB của bạn! Chúng ta nên trình bày bao nhiêu LUN từ mảng này?" Nếu họ làm điều ghê tởm đó, thì đó sẽ là một chương trình kinh dị [đọc-sửa-ghi](https://www.vmdamentals.com/?p=897) bất cứ khi nào bạn viết thư cho MỘT LUN bất kỳ của mình. Việc ghi chà cho tất cả các LUN sẽ lấn át bộ lưu trữ SAN đó.
Andrew Henle avatar
lá cờ ph
Những gì họ nên làm là nói, "Chúng tôi có N số lượng ổ đĩa X TB. Bạn muốn chúng tôi chia chúng thành các mảng riêng biệt như thế nào và chúng tôi sẽ trình bày từng mảng cho bạn dưới dạng một LUN riêng biệt." Nhưng điều đó sẽ cần nhiều nỗ lực hơn từ phía họ. Các mảng FWIW, RAID-6 với 10 ổ, mỗi ổ có lẽ là một điểm tuyệt vời - mặc dù bạn cần lưu ý về thời gian xây dựng lại RAID đối với các ổ bị lỗi đối với những ổ đó. Hơn 30 mảng RAID-6 ổ đĩa là asinine và không đủ năng lực. Và vâng, tôi hy vọng họ đọc được điều này nếu đó là những gì họ đã làm.
Benoit avatar
lá cờ cn
Andrew thân mến, đó không phải là trường hợp xấu nhất trong nhận xét đầu tiên của bạn cũng không phải là trường hợp tốt nhất trong nhận xét thứ hai của bạn... Tôi nhớ rằng họ đã sử dụng các mảng RAID6 nhỏ hơn 10 ổ đĩa mà bạn đã đề cập (RAID 60, tôi sẽ chỉnh sửa câu hỏi của mình cho phù hợp) Tôi đã yêu cầu phân chia để phù hợp với hình học ZFS (vì hoàn toàn không biết gì nên tôi đã hy vọng có một đĩa trên mỗi LUN) nhưng rõ ràng đó là một số giải pháp mà họ đã mua và việc phân chia đã được khắc phục ngay từ đầu. SAN có vẻ ổn ngay cả trong quá trình xóa hoặc trong khi di chuyển nhiều dữ liệu. 380 TB của tôi chỉ là một phần nhỏ theo như tôi hiểu.
ewwhite avatar
lá cờ ng
Bạn cần [ZFS professional/consultant](https://serverfault.com/users/13325/ewwhite?tab=profile) và một số người ủng hộ để làm việc với bộ phận CNTT của công ty...
Benoit avatar
lá cờ cn
Về việc nhận trợ giúp chuyên nghiệp: điều này có thể kết thúc giống như trường hợp kiểm toán bảo mật. Là nhà khoa học thời tiết, chúng ta thường đạt đến giới hạn của mình...
Điểm:0
lá cờ ng

Đây thực sự là trong lĩnh vực của những dịch vụ chuyên nghiệp, do tính chất cụ thể của thiết lập và cấu hình SAN lẻ.

Điều này có thể được điều chỉnh và điều chỉnh để có hành vi và hiệu suất tốt hơn.

  • Tại sao bạn đang chà, mặc dù?
  • Bạn đã điều chỉnh bộ điều chỉnh nào để cho phép lọc một nhóm hình học này?
  • xin vui lòng gửi bài của bạn /etc/modprobe.d/zfs.conf
  • Vui lòng gửi Proxmox của bạn /etc/sysctl.conf
Benoit avatar
lá cờ cn
Cảm ơn bạn vì câu trả lời. Chúng tôi đang kiểm tra vì chúng tôi lưu trữ ảnh chụp nhanh của cơ sở dữ liệu và đĩa Proxmox VM trên nhóm này. Chúng tôi nghĩ rằng tính toàn vẹn dữ liệu trên các thiết bị khối là rất quan trọng. Chúng tôi chưa điều chỉnh bất kỳ bộ điều chỉnh nào, hiện tại chúng tôi có thể phân bổ tối đa 80 GB cho ZFS ARC.Chúng tôi chưa tạo bất kỳ tệp zfs.conf nào, thông thường chúng tôi chỉ đặt tham số ARC ở đó, nhưng đối với ZFS trên SAN, chúng tôi không có đủ kinh nghiệm để làm điều đó. Về Proxmox /etc/sysctl.conf: tất cả các dòng đều được bình luận, chúng tôi chưa chỉnh sửa tệp này. Lưu ý rằng Proxmox chuyển bộ điều hợp SAN sang VM (PCIe passtrough).
ewwhite avatar
lá cờ ng
Việc thiết lập cần làm việc. Liên hệ với tôi ngoại tuyến.
Điểm:0
lá cờ uz

Bạn đang nhìn nhầm chỗ. Nếu bạn SAN lỗi dưới tải, sau đó bạn không thể dựa vào nó, thời gian. Sửa lỗi SAN.

Benoit avatar
lá cờ cn
Cảm ơn câu trả lời của bạn, theo tôi hiểu, chúng tôi không hoàn toàn có lỗi SAN khi tải nhưng dữ liệu trong bộ đệm bị gắn cờ sai là bị lỗi khi xóa khi tải. Chà xát sau khi load mạnh không báo lỗi gì. Tôi sẽ đấu tranh với những người chịu trách nhiệm về SAN để lấy thêm thông tin ngoài “tất cả đều ổn” từ phía họ.
Benoit avatar
lá cờ cn
Một giải thích rõ ràng về các vấn đề có thể xảy ra với SAN. Tôi đã đợi ba tháng trước khi đăng câu hỏi của mình để loại trừ sự cố hiển nhiên với SAN. Dữ liệu luôn được sao chép từ nhóm SSD Raid 10 nhanh tạo ra tải nặng. Trong khoảng thời gian này, khoảng 400TB dữ liệu đã được xóa mà không mắc một lỗi nào, tuy nhiên, tôi đã giới hạn tải trong quá trình xóa.

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.