Oprogramowanie RAID systemu Linux przestaje odpowiadać po usunięciu dysku z serwera

Uruchamiam maszynę CentOS 7 (standardowe jądro:

       3.10.0-327.36.3.el7.x86_64

     

) z programowym RAID-10 na 16 dyskach SSD o pojemności 1 TB (a dokładniej na dyskach są dwie macierze RAID; jedna z nich zapewnia partycję wymiany hosta). Dysk SSD nie działa w zeszłym tygodniu:

13:18:07 kvm7 kernel: sd 1:0:2:0: attempting task abort! scmd(ffff887e57b916c0)

13:18:07 kvm7 kernel: sd 1:0:2:0: [sdk] CDB: Write(10) 2a 08 02 55 20 08 00 00 01 00

13:18:07 kvm7 kernel: scsi target1:0:2: handle(0x000b), sas_address(0x4433221102000000), phy(2)

13:18:07 kvm7 kernel: scsi target1:0:2: enclosure_logical_id(0x500304801c14a001), slot(2)

13:18:10 kvm7 kernel: sd 1:0:2:0: task abort: SUCCESS scmd(ffff887e57b916c0)

13:18:11 kvm7 kernel: sd 1:0:2:0: [sdk] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE

13:18:11 kvm7 kernel: sd 1:0:2:0: [sdk] Sense Key : Not Ready [current] 

13:18:11 kvm7 kernel: sd 1:0:2:0: [sdk] Add. Sense: Logical unit not ready, cause not reportable

13:18:11 kvm7 kernel: sd 1:0:2:0: [sdk] CDB: Write(10) 2a 08 02 55 20 08 00 00 01 00

13:18:11 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 39133192

13:18:11 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 39133192

13:18:11 kvm7 kernel: md: super_written gets error=-5, uptodate=0

13:18:11 kvm7 kernel: md/raid10:md3: Disk failure on sdk3, disabling device.#012md/raid10:md3: Operation continuing on 15 devices.

13:19:27 kvm7 kernel: sd 1:0:2:0: device_blocked, handle(0x000b)

13:19:29 kvm7 kernel: sd 1:0:2:0: [sdk] Synchronizing SCSI cache

13:19:29 kvm7 kernel: md: md3 still in use.

13:19:29 kvm7 kernel: sd 1:0:2:0: [sdk] Synchronize Cache(10) failed: Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK

13:19:29 kvm7 kernel: mpt3sas1: removing handle(0x000b), sas_addr(0x4433221102000000)

13:19:29 kvm7 kernel: md: md2 still in use.

13:19:29 kvm7 kernel: md/raid10:md2: Disk failure on sdk2, disabling device.#012md/raid10:md2: Operation continuing on 15 devices.

13:19:29 kvm7 kernel: md: unbind<sdk3>

13:19:29 kvm7 kernel: md: export_rdev(sdk3)

13:19:29 kvm7 kernel: md: unbind<sdk2>

13:19:29 kvm7 kernel: md: export_rdev(sdk2)

/proc/mdstat

     

wyglądał zgodnie z oczekiwaniami (1 wadliwy element członkowski), a maszyny wirtualne nadal działały bez problemu.

md3 : active raid10 sdp3[15] sdb3[2] sdg3[12] sde3[8] sdn3[11] sdl3[7] sdm3[9] sdf3[10] sdi3[1] sdk3[5](F) sdc3[4] sdd3[6] sdh3[14] sdo3[13] sda3[0] sdj3[3]

    7844052992 blocks super 1.2 128K chunks 2 near-copies [16/15] [UUUUU_UUUUUUUUUU]

Dysk SSD musiał zostać tymczasowo zastąpiony większym dyskiem SSD, ponieważ dysk SSD o pojemności 1 TB nie był dostępny. Zrobiliśmy to, zaczęliśmy odbudowywać i wszystko było w porządku. Dzisiaj dotarł „prawidłowy” dysk SSD, więc technik centrum danych po prostu wyciągnął tacę zawierającą wspomniany dysk SSD, a system przestał odpowiadać w ciągu kilku sekund. Podczas gdy host działał poprawnie w oddzielnej macierzy RAID, maszyny wirtualne nie były w stanie wykonywać operacji we/wy. Zwiększono obciążenie do & > 800. Udało mi się spełnić

       mdadm --detail/dev/md3

     

który pokazał zdegradowaną (ale aktywną/czystą) tablicę, więc z tego punktu widzenia system był absolutnie w porządku. Próbowałem usunąć uszkodzony/brakujący dysk z macierzy, co oczywiście się nie udało („nie ma takiego urządzenia”) i nagle nawet

       mdadm --detail/dev/md3

     

nie generował już żadnych danych wyjściowych, po prostu zawiesił się i musiałem zakończyć sesję SSH, aby się z tego wydostać. Następnie zdecydowałem się na siłę ponownie uruchomić komputer, ponieważ nie wiedziałem nawet, jak usunąć ten wadliwy dysk z macierzy - i wszystko działało poprawnie. Oczywiście RAID nadal był zdegradowany i wymagał ponownej synchronizacji, ale poza tym:

nie ma problemu.

Jestem prawie pewien, że ja

musieć

usunął dysk przez mdadm po

       --set-faulty

     

przed wyjęciem tacy z regału,

chociaż nie potrafię wyjaśnić tego zachowania mdraid.

Moim zdaniem „zasymulowaliśmy” normalne odłączenie dysku, więc czy ktoś ma pojęcie, co spowodowało ten problem i jak mogę się upewnić, że kolejne zwykłe odłączenie dysku nie spowoduje tego samego problemu?
Jądro zarejestrowało kilka komunikatów i co wydało mi się interesujące, to fakt, że nowe urządzenie pojawiło się jako

SDQ

podczas gdy wyciągane urządzenie było znane jako

       sdk

     

... Więc tak myślę

       sdk

     

nie kopnął

prawidłowo

z tablicy. Kiedy pierwszy dysk SSD uległ awarii w zeszłym tygodniu, nie zauważyłem tego zachowania; więc wymienny napęd również pasuje jako

       sdk

     

.
W logu też widać 7 minut między awarią starego a włożeniem nowego SSD, więc nie sądzę, żeby był taki problem jak ten opisany w dziale

https://superuser.com/question ... nding
https://superuser.com/question ... nding
odbyła się. Ponadto maszyny wirtualne wyłączają się natychmiast, a nie po 7 minutach. Więc - jakieś przemyślenia na ten temat? Była bym bardzo wdzięczna :)

11:45:36 kvm7 kernel: sd 1:0:8:0: device_blocked, handle(0x000b)

11:45:37 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 0

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069640

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069648

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069656

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069664

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069672

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069680

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069688

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069696

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069704

11:45:37 kvm7 kernel: md/raid10:md3: sdk3: rescheduling sector 4072069712

11:45:37 kvm7 kernel: sd 1:0:8:0: [sdk] FAILED Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK

11:45:37 kvm7 kernel: sd 1:0:8:0: [sdk] CDB: Read(10) 28 00 20 af f7 08 00 00 08 00

11:45:37 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 548402952

11:45:37 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 0

11:45:37 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 39133192

11:45:37 kvm7 kernel: md: super_written gets error=-5, uptodate=0

11:45:37 kvm7 kernel: md/raid10:md3: Disk failure on sdk3, disabling device.#012md/raid10:md3: Operation continuing on 15 devices.

11:45:37 kvm7 kernel: md: md2 still in use.

11:45:37 kvm7 kernel: md/raid10:md2: Disk failure on sdk2, disabling device.#012md/raid10:md2: Operation continuing on 15 devices.

11:45:37 kvm7 kernel: blk_update_request: I/O error, dev sdk, sector 39133264

11:45:37 kvm7 kernel: md: super_written gets error=-5, uptodate=0

11:45:37 kvm7 kernel: sd 1:0:8:0: [sdk] Synchronizing SCSI cache

11:45:37 kvm7 kernel: sd 1:0:8:0: [sdk] Synchronize Cache(10) failed: Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK

11:45:37 kvm7 kernel: mpt3sas1: removing handle(0x000b), sas_addr(0x4433221102000000)

11:45:37 kvm7 kernel: md: unbind<sdk2>

11:45:37 kvm7 kernel: md: export_rdev(sdk2)

11:48:00 kvm7 kernel: INFO: task md3_raid10:1293 blocked for more than 120 seconds.

11:48:00 kvm7 kernel: "echo 0 >/proc/sys/kernel/hung_task_timeout_secs" disables this message.

11:48:00 kvm7 kernel: md3_raid10      D ffff883f26e55c00     0  1293      2 0x00000000

11:48:00 kvm7 kernel: ffff887f24bd7c58 0000000000000046 ffff887f212eb980 ffff887f24bd7fd8

11:48:00 kvm7 kernel: ffff887f24bd7fd8 ffff887f24bd7fd8 ffff887f212eb980 ffff887f23514400

11:48:00 kvm7 kernel: ffff887f235144dc 0000000000000001 ffff887f23514500 ffff8807fa4c4300

11:48:00 kvm7 kernel: Call Trace:

11:48:00 kvm7 kernel: [<ffffffff8163bb39>] schedule+0x29/0x70

11:48:00 kvm7 kernel: [<ffffffffa0104ef7>] freeze_array+0xb7/0x180 [raid10]

11:48:00 kvm7 kernel: [<ffffffff810a6b80>] ? wake_up_atomic_t+0x30/0x30

11:48:00 kvm7 kernel: [<ffffffffa010880d>] handle_read_error+0x2bd/0x360 [raid10]

11:48:00 kvm7 kernel: [<ffffffff812c7412>] ? generic_make_request+0xe2/0x130

11:48:00 kvm7 kernel: [<ffffffffa0108a1d>] raid10d+0x16d/0x1440 [raid10]

11:48:00 kvm7 kernel: [<ffffffff814bb785>] md_thread+0x155/0x1a0

11:48:00 kvm7 kernel: [<ffffffff810a6b80>] ? wake_up_atomic_t+0x30/0x30

11:48:00 kvm7 kernel: [<ffffffff814bb630>] ? md_safemode_timeout+0x50/0x50

11:48:00 kvm7 kernel: [<ffffffff810a5b8f>] kthread+0xcf/0xe0

11:48:00 kvm7 kernel: [<ffffffff810a5ac0>] ? kthread_create_on_node+0x140/0x140

11:48:00 kvm7 kernel: [<ffffffff81646a98>] ret_from_fork+0x58/0x90

11:48:00 kvm7 kernel: [<ffffffff810a5ac0>] ? kthread_create_on_node+0x140/0x140

11:48:00 kvm7 kernel: INFO: task qemu-kvm:26929 blocked for more than 120 seconds.[serveral messages for stuck qemu-kvm processes]11:52:42 kvm7 kernel: scsi 1:0:9:0: Direct-Access     ATA      KINGSTON SKC400S 001A PQ: 0 ANSI: 6

11:52:42 kvm7 kernel: scsi 1:0:9:0: SATA: handle(0x000b), sas_addr(0x4433221102000000), phy(2), device_name(0x4d6b497569a68ba2)

11:52:42 kvm7 kernel: scsi 1:0:9:0: SATA: enclosure_logical_id(0x500304801c14a001), slot(2)

11:52:42 kvm7 kernel: scsi 1:0:9:0: atapi(n), ncq(y), asyn_notify(n), smart(y), fua(y), sw_preserve(y)

11:52:42 kvm7 kernel: scsi 1:0:9:0: qdepth(32), tagged(1), simple(0), ordered(0), scsi_level(7), cmd_que(1)

11:52:42 kvm7 kernel: sd 1:0:9:0: Attached scsi generic sg10 type 0

11:52:42 kvm7 kernel: sd 1:0:9:0: [sdq] 2000409264 512-byte logical blocks: (1.02 TB/953 GiB)

11:52:42 kvm7 kernel: sd 1:0:9:0: [sdq] Write Protect is off

11:52:42 kvm7 kernel: sd 1:0:9:0: [sdq] Write cache: enabled, read cache: enabled, supports DPO and FUA

11:52:42 kvm7 kernel: sdq: unknown partition table

11:52:42 kvm7 kernel: sd 1:0:9:0: [sdq] Attached SCSI disk