Ograniczona wydajność we/wy w Dell T410

Mamy niewielką liczbę systemów Dell T410 i T710. Każdy z nich jest wyposażony w kontroler Dell SAS 6iR z 6 dyskami SATAII, 1x160GB OS i 5x3TB DATA. Zawsze mieliśmy problemy z prędkością dostępu do dysku, każdy dysk generował nieco ponad 100 MB/s, ale szybko zwalniał pod obciążeniem. Powiedziano nam, że to są nasze kontrolery dysków. Próbowałem zastąpić jeden z nich H700 i zauważyłem niewielką różnicę, może wzrost prędkości o 5%. Przekonaliśmy się, że musi to być coś z dyskami SAS - & > Płyta montażowa SAS - & > SATAII.
Ale teraz próbujemy skonfigurować klaster ceph między systemami i przyspieszyć pliki dziennika, które kupiliśmy od OCZ Vertex 4 SDD z kartą Highpoint 620 PCI-e 1X, ponieważ wszystkie SAS są podłączone do płyty montażowej SAS. Wszystko w porządku.
Ale podczas testów próbowałem "dd if =/dev/zero bs = 4k count = 1024k of =/mnt/test1.img", gdzie dysk SSD jest zamontowany z systemem plików EXT4. Mam otwarty w innym oknie iostat -dmx 1. Widzę raport zakończenia zapisu 390MB/s zapisu na dysku, ale to jest z buforowaniem dysku. W iostacie widzę jak ładuje się na dysk z prędkością 100-120MB/s, co widzę na naszych dyskach SATAII!
Podjęto ten sam test w innym kierunku: „echo 3 & >/proc/sys/vm/drop_caches; dd if =/mnt/test1.img bs = 4k of =/dev/null ', który zgłosił 194 MB/si wykazał 189 MB/sw iostat.
Próbowałem tego samego z Ubuntu 12.10 i CentOS Live CD. Nasze systemy Windows 2008 R2 zawsze wydawały się powolne. Cały BIOS i oprogramowanie układowe są aktualne. Wypróbowałem harmonogramy noop, deadline i cfq, nadal wyniki. Wyłączono wszystkie opcje pamięci i procesora w systemie BIOS bez zmian. Próbowano z włączonym IOATDMA, bez zmian. Próbowałem wyjąć wszystkie karty NIC i SAS, pozostawiając tylko kartę SATAIII i dysk SSD bez zmian. Karta SATAIII jest rozpoznawana prawidłowo i identyfikuje dysk SSD jako prędkość 6G.
Karta SATAIII i SSD uzyskują 400MB/s + w innych systemach stacjonarnych.
Jakieś pomysły, co dalej?
Nie możemy sobie pozwolić na wymianę i rozpoczęcie od nowa. Działa tak, jakby istniał jakiś zasób, który ogranicza ilość zasobów we/wy lub czasy tak, że nie może osiągnąć pełnej szybkości. Ograniczony BIOS firmy Dell nie ma wielu opcji do tego, a karta i dysk SSD działają dobrze w innych systemach, więc nie powinno to być winowajcą. Dyski SATAII zawsze były powolne, nawet jeśli działają lepiej również w innych systemach.
Widzę nawet powolną wydajność metadysków w systemie. Można to zobaczyć, gdy wypróbowałem rozłożony lub dublowany LVM na CentOS, metadyski, które ustawia jako tło do implementacji woluminów LVM, były ograniczone do tej samej prędkości, co dyski za nimi. Wtedy pomyślałem, że może to mieć coś wspólnego z implementacją nowego kodu lub aspektami blokowania I/O operacji RAID. Teraz myślę, że to wszystko jest powiązane.
Zaproszony:
Anonimowy użytkownik

Anonimowy użytkownik

Potwierdzenie od:

Otóż ​​z mojego punktu widzenia problemem może być wadliwa magistrala PCI-E lub jakieś problemy ze sterownikiem jako całością. Czy po stronie kontrolera próbowałeś wyłączyć pamięć podręczną zapisu dla dysków SSD? Oficjalnie firma Dell sugeruje wyłączenie pamięci podręcznej zapisu podczas korzystania z dysków SSD ...
Jeszcze jedna kwestia, jeśli dobrze pamiętam, dowolny kontroler Dell wyłącza pamięć podręczną zapisu, jeśli nie masz zainstalowanej jednostki podtrzymującej akumulator (BBU) na serwerze, czy ją masz? Jeśli nie, wymuś pamięć podręczną zapisu w systemie PERC BIOS i sprawdź, czy zmieniła się wydajność. Pamiętaj, że bezbateryjna pamięć podręczna zapisu naraża Cię na katastrofalną utratę danych w przypadku awarii zasilania!
W ostateczności, jeśli problem dotyczy magistrali PCI-E, najszybszym i najłatwiejszym sposobem powinna być wymiana gniazda kontrolera.
EDYCJA: zapomniałem wspomnieć
Czy zaktualizowałeś oprogramowanie systemowe do najnowszej wersji? BIOS, firmware PERC i tym podobne? Jeśli nie, pobierz najnowszą wersję ze strony support.dell.com i spróbuj ponownie. To może niczego nie zmienić, ale w starszym oprogramowaniu Dell BIOS był błąd polegający na tym, że ograniczyli procesor w architekturach po Nehalem, spróbuj wyłączyć stany C w sekcji BIOS procesora, UWAGA, to zwiększy zużycie energii!

Aby odpowiedzieć na pytania, Zaloguj się lub Zarejestruj się