Przesyłanie dużej liczby małych plików


Muszę przeprowadzić migrację dwóch serwerów z dużymi połączeniami SAN do naszego nowego środowiska VMWare.
EDYCJA: Muszę podać dodatkowe szczegóły, ponieważ mam dobre odpowiedzi dotyczące rozwiązania VMWare.
Dlatego nie mogę podłączyć poprzedniej jednostki LUN EMC do nowego systemu z powodu pewnych ograniczeń technologicznych na serwerze.
Nie mogę użyć VMWare Converter do sklonowania brakujących woluminów na mojej nowej maszynie wirtualnej, ponieważ VMWare Converter nie widzi pseudourządzeń EMC PowerPath, a poprzedni administrator użył tych pseudourządzeń do utworzenia woluminów LVM2 i/lub ASM na górze.
Te dwa fizyczne serwery są podłączone do starego EMC² CX-340 i obsługują 5 TB danych.
Te 5 TB danych to mały plik PDF i muszę go przenieść na nowy komputer za pośrednictwem naszej sieci LAN 1 Gb/s.
Próbowałem użyć
       rsync
ale jest naprawdę powolny i ma duży wpływ na wydajność pamięci RAM i procesora.
Próbowałem użyć NC z TAR, ale szybkości transferu są dość wolne, ponieważ mam średnią przepustowość około 50 MB/s na łączu 1 Gb/s przy prawie zerowym ruchu.
Czy mógłbyś udzielić mi porady lub podzielić się swoimi doświadczeniami z tego rodzaju migracjami i jak udaje Ci się przeprowadzić ją poprawnie w rozsądnych ramach czasowych?
Zaproszony:
Anonimowy użytkownik

Anonimowy użytkownik

Potwierdzenie od:

Jeśli naprawdę potrzebujesz szybkiego sposobu przesyłania plików, a oba systemy są oparte na systemie Linux, możesz spróbować

UDR
https://github.com/LabAdvComp/UDR
.
Jest to rzeczywiście forma rsync-over-UDP (przy użyciu open-source

Ramy UDT
http://udt.sourceforge.net) i jest szczególnie przydatny do przenoszenia dużych ilości plików lub przesyłania przez kanały o dużej przepustowości lub dużym opóźnieniu. Ponadto szyfrowanie jest domyślnie wyłączone, więc obciążenie pamięci RAM/procesora jest niższe niż w przypadku tradycyjnego rsync. SSH też nie jest zaangażowane.
Mogę łatwo dostać

transfery telegraficzne

ponad 1 Gb/s z 10 milionami małych plików TIFF w drzewie katalogów.
Twoja składnia będzie się nieco różnić od rsync. Wszystkie flagi rsync muszą znajdować się przed specyfikacją źródła/celu:
udr rsync -avP --stats --delete/data/ server2:/data/

Łatwy w budowie ... będziesz potrzebować
         g++
i
         openssl-devel
:
git clone [url=https://github.com/LabAdvComp/UDR.git]https://github.com/LabAdvComp/UDR.git[/url]
cd UDR/
make
cp src/udr/usr/local/bin/

Zrób to u źródła i miejsca docelowego.
Widzieć:

Możliwość optymalizacji WAN pod kątem ruchu SSH
https://serverfault.com/questi ... 38065
Anonimowy użytkownik

Anonimowy użytkownik

Potwierdzenie od:

W trybie demona bez szyfrowania rsync może efektywnie przesyłać dużą liczbę małych plików. Spróbuj jeszcze raz użyć go w trybie Demona.
Anonimowy użytkownik

Anonimowy użytkownik

Potwierdzenie od:

Czy nie myślałeś o dostarczaniu jednostek SAN LUN bezpośrednio do nowych maszyn wirtualnych - zwykle działa to dobrze i może być szybsze niż kopiowanie plików do VMDK, chociaż może to „zablokować” maszyny wirtualne na ich oryginalnym hoście. Możesz jednak użyć tego, aby rozpocząć, a następnie przesłać pliki do VMDK we własnym tempie - za pomocą rsync - a następnie skrócić łącze do oryginalnych jednostek LUN.
Anonimowy użytkownik

Anonimowy użytkownik

Potwierdzenie od:

Jeśli docelowe maszyny wirtualne nie zostały jeszcze utworzone, możesz spróbować skopiować dane za pomocą bezpłatnego programu VMware Converter.
W rzeczywistości, nawet jeśli zostaną utworzone, można sklonować dyski na fikcyjną maszynę wirtualną, a następnie dołączyć je do istniejącej maszyny wirtualnej po zakończeniu klonowania.
W każdym przypadku konwerter używa dwóch metod klonowania plików ze źródła do miejsca docelowego, których pełne szczegóły można znaleźć.

Tutaj
http://kb.vmware.com/selfservi ... 71014
.
Jeśli dyski docelowe są skonfigurowane jako

mniej

niż oryginalny, sklonuje poszczególne pliki do nowej maszyny wirtualnej.
Jeśli jednak dyski docelowe są skonfigurowane jako

równe lub więcej
, klonuje bloki. Spowoduje to, że liczba plików na dysku będzie prawie nieistotna i powinna być stosunkowo szybka.
Wątpię, czy wypełnisz kanał 1 Gbps, ale powinieneś uzyskać ponad 50 Mbps.
Pamiętaj tylko, że nadal chcesz przenieść 5 TB, więc zajmie to chwilę.

Aby odpowiedzieć na pytania, Zaloguj się lub Zarejestruj się