Ograniczona wydajność we/wy w Dell T410

Mamy niewielką liczbę systemów Dell T410 i T710. Każdy z nich jest wyposażony w kontroler Dell SAS 6iR z 6 dyskami SATAII, 1x160GB OS i 5x3TB DATA. Zawsze mieliśmy problemy z prędkością dostępu do dysku, każdy dysk generował nieco ponad 100 MB/s, ale szybko zwalniał pod obciążeniem. Powiedziano nam, że to są nasze kontrolery dysków. Próbowałem zastąpić jeden z nich H700 i zauważyłem niewielką różnicę, może wzrost prędkości o 5%. Przekonaliśmy się, że musi to być coś z dyskami SAS - & > Płyta montażowa SAS - & > SATAII.
Ale teraz próbujemy skonfigurować klaster ceph między systemami i przyspieszyć pliki dziennika, które kupiliśmy od OCZ Vertex 4 SDD z kartą Highpoint 620 PCI-e 1X, ponieważ wszystkie SAS są podłączone do płyty montażowej SAS. Wszystko w porządku.
Ale podczas testów próbowałem "dd if =/dev/zero bs = 4k count = 1024k of =/mnt/test1.img", gdzie dysk SSD jest zamontowany z systemem plików EXT4. Mam otwarty w innym oknie iostat -dmx 1. Widzę raport zakończenia zapisu 390MB/s zapisu na dysku, ale to jest z buforowaniem dysku. W iostacie widzę jak ładuje się na dysk z prędkością 100-120MB/s, co widzę na naszych dyskach SATAII!
Podjęto ten sam test w innym kierunku: „echo 3 & >/proc/sys/vm/drop_caches; dd if =/mnt/test1.img bs = 4k of =/dev/null ', który zgłosił 194 MB/si wykazał 189 MB/sw iostat.
Próbowałem tego samego z Ubuntu 12.10 i CentOS Live CD. Nasze systemy Windows 2008 R2 zawsze wydawały się powolne. Cały BIOS i oprogramowanie układowe są aktualne. Wypróbowałem harmonogramy noop, deadline i cfq, nadal wyniki. Wyłączono wszystkie opcje pamięci i procesora w systemie BIOS bez zmian. Próbowano z włączonym IOATDMA, bez zmian. Próbowałem wyjąć wszystkie karty NIC i SAS, pozostawiając tylko kartę SATAIII i dysk SSD bez zmian. Karta SATAIII jest rozpoznawana prawidłowo i identyfikuje dysk SSD jako prędkość 6G.
Karta SATAIII i SSD uzyskują 400MB/s + w innych systemach stacjonarnych.
Jakieś pomysły, co dalej?
Nie możemy sobie pozwolić na wymianę i rozpoczęcie od nowa. Działa tak, jakby istniał jakiś zasób, który ogranicza ilość zasobów we/wy lub czasy tak, że nie może osiągnąć pełnej szybkości. Ograniczony BIOS firmy Dell nie ma wielu opcji do tego, a karta i dysk SSD działają dobrze w innych systemach, więc nie powinno to być winowajcą. Dyski SATAII zawsze były powolne, nawet jeśli działają lepiej również w innych systemach.
Widzę nawet powolną wydajność metadysków w systemie. Można to zobaczyć, gdy wypróbowałem rozłożony lub dublowany LVM na CentOS, metadyski, które ustawia jako tło do implementacji woluminów LVM, były ograniczone do tej samej prędkości, co dyski za nimi. Wtedy pomyślałem, że może to mieć coś wspólnego z implementacją nowego kodu lub aspektami blokowania I/O operacji RAID. Teraz myślę, że to wszystko jest powiązane.