Przesyłanie dużej liczby małych plików


Muszę przeprowadzić migrację dwóch serwerów z dużymi połączeniami SAN do naszego nowego środowiska VMWare.
EDYCJA: Muszę podać dodatkowe szczegóły, ponieważ mam dobre odpowiedzi dotyczące rozwiązania VMWare.
Dlatego nie mogę podłączyć poprzedniej jednostki LUN EMC do nowego systemu z powodu pewnych ograniczeń technologicznych na serwerze.
Nie mogę użyć VMWare Converter do sklonowania brakujących woluminów na mojej nowej maszynie wirtualnej, ponieważ VMWare Converter nie widzi pseudourządzeń EMC PowerPath, a poprzedni administrator użył tych pseudourządzeń do utworzenia woluminów LVM2 i/lub ASM na górze.
Te dwa fizyczne serwery są podłączone do starego EMC² CX-340 i obsługują 5 TB danych.
Te 5 TB danych to mały plik PDF i muszę go przenieść na nowy komputer za pośrednictwem naszej sieci LAN 1 Gb/s.
Próbowałem użyć 
       rsync
ale jest naprawdę powolny i ma duży wpływ na wydajność pamięci RAM i procesora.
Próbowałem użyć NC z TAR, ale szybkości transferu są dość wolne, ponieważ mam średnią przepustowość około 50 MB/s na łączu 1 Gb/s przy prawie zerowym ruchu.
Czy mógłbyś udzielić mi porady lub podzielić się swoimi doświadczeniami z tego rodzaju migracjami i jak udaje Ci się przeprowadzić ją poprawnie w rozsądnych ramach czasowych?
2021-03-02 Dodaj komentarz
Udostępnij to

Nie znaleziono powiązanych wyników

    Zaproszony:
    Anonimowy użytkownik

    Anonimowy użytkownik

    Potwierdzenie od:

    Jeśli naprawdę potrzebujesz szybkiego sposobu przesyłania plików, a oba systemy są oparte na systemie Linux, możesz spróbować

    UDR
    https://github.com/LabAdvComp/UDR
    .
    Jest to rzeczywiście forma rsync-over-UDP (przy użyciu open-source

    Ramy UDT
    http://udt.sourceforge.net) i jest szczególnie przydatny do przenoszenia dużych ilości plików lub przesyłania przez kanały o dużej przepustowości lub dużym opóźnieniu. Ponadto szyfrowanie jest domyślnie wyłączone, więc obciążenie pamięci RAM/procesora jest niższe niż w przypadku tradycyjnego rsync. SSH też nie jest zaangażowane.
    Mogę łatwo dostać

    transfery telegraficzne

    ponad 1 Gb/s z 10 milionami małych plików TIFF w drzewie katalogów.
    Twoja składnia będzie się nieco różnić od rsync. Wszystkie flagi rsync muszą znajdować się przed specyfikacją źródła/celu: 
    udr rsync -avP --stats --delete/data/ server2:/data/

    Łatwy w budowie ... będziesz potrzebować 
             g++
    i 
             openssl-devel
    :
    git clone [url=https://github.com/LabAdvComp/UDR.git]https://github.com/LabAdvComp/UDR.git[/url]
    
cd UDR/
    
make
    
cp src/udr/usr/local/bin/

    Zrób to u źródła i miejsca docelowego.
    Widzieć:

    Możliwość optymalizacji WAN pod kątem ruchu SSH
    https://serverfault.com/questi ... 38065
    2021-03-02 0 0
    Udostępnij to
    Anonimowy użytkownik

    Anonimowy użytkownik

    Potwierdzenie od:

    W trybie demona bez szyfrowania rsync może efektywnie przesyłać dużą liczbę małych plików. Spróbuj jeszcze raz użyć go w trybie Demona.
    2021-03-02 0 0
    Udostępnij to
    Anonimowy użytkownik

    Anonimowy użytkownik

    Potwierdzenie od:

    Czy nie myślałeś o dostarczaniu jednostek SAN LUN bezpośrednio do nowych maszyn wirtualnych - zwykle działa to dobrze i może być szybsze niż kopiowanie plików do VMDK, chociaż może to „zablokować” maszyny wirtualne na ich oryginalnym hoście. Możesz jednak użyć tego, aby rozpocząć, a następnie przesłać pliki do VMDK we własnym tempie - za pomocą rsync - a następnie skrócić łącze do oryginalnych jednostek LUN.
    2021-03-02 0 0
    Udostępnij to
    Anonimowy użytkownik

    Anonimowy użytkownik

    Potwierdzenie od:

    Jeśli docelowe maszyny wirtualne nie zostały jeszcze utworzone, możesz spróbować skopiować dane za pomocą bezpłatnego programu VMware Converter.
    W rzeczywistości, nawet jeśli zostaną utworzone, można sklonować dyski na fikcyjną maszynę wirtualną, a następnie dołączyć je do istniejącej maszyny wirtualnej po zakończeniu klonowania.
    W każdym przypadku konwerter używa dwóch metod klonowania plików ze źródła do miejsca docelowego, których pełne szczegóły można znaleźć.

    Tutaj
    http://kb.vmware.com/selfservi ... 71014
    .
    Jeśli dyski docelowe są skonfigurowane jako

    mniej

    niż oryginalny, sklonuje poszczególne pliki do nowej maszyny wirtualnej.
    Jeśli jednak dyski docelowe są skonfigurowane jako

    równe lub więcej
    , klonuje bloki. Spowoduje to, że liczba plików na dysku będzie prawie nieistotna i powinna być stosunkowo szybka.
    Wątpię, czy wypełnisz kanał 1 Gbps, ale powinieneś uzyskać ponad 50 Mbps.
    Pamiętaj tylko, że nadal chcesz przenieść 5 TB, więc zajmie to chwilę.
    2021-03-02 0 0
    Udostępnij to
    Dlaczego jest złożony? 0 odpowiedzi zostało zwiniętych

    Aby odpowiedzieć na pytania, Zaloguj się lub Zarejestruj się

    Polityka prywatności: https://zweryfikowac.pl/Polityka-prywatnosci.pdf
    Copyright © 2023, All Rights Reserved