Κυριακή 27 Μαρτίου 2011

Αντιγράφοντας 1 terabyte ...

Ένα από τα οικιακά μου projects αυτό το σαββατοκύριακο ήταν η αντιγραφή 1TB δεδομένων (virtual machine images, κώδικας, datafiles από πειράματα κλπ κλπ κλπ, πάνω από 200000 αρχεία στο σύνολο) από ένα (αναξιόπιστο πλέον λόγω hardware) usb εξωτερικό δίσκο σε μία ελαφρά πιο αξιόπιστη λύση (usb εξωτερικό case με θήκη για 2 δίσκους τους οποίους έχω κάνει software RAID-1 μέσω md, να 'ναι καλά το Linuxάκι).

Τώρα που επιτέλους η αντιγραφή τελείωσε, ορισμένα σχόλια, για όσους θα θελήσουν να κάνουν κάτι παρόμοιο:
  1. Χρησιμοποιήστε ξεχωριστό υπολογιστή, κατά προτίμηση σε άλλο δωμάτιο κλπ. Η αντιγραφή θα κρατήσει 2-3 μέρες με τις τυπικές ταχύτητες (USB 2.0 περίπου 20MB/s) και επειδή σε αρκετά σημεία ο ένας από τους 2 δίσκους θα "σκάσει" (δεν εννοώ ολική καταστροφή, απλά κάτι θα γίνει, π.χ., θα πέσει το ρεύμα και θα χαθεί o δίσκος από τα devices απότομα). Άρα δε θέλετε να έχετε το θόρυβο κλπ από τον υπολογιστή αυτόν στο κεφάλι σας όλο αυτό τον καιρό.
  2. Χρησιμοποιήστε rsync -avh --progress αντί για copy, αφού με αυτό τον τρόπο κάθε φορά που το copy θα "σκάει" θα μπορείτε να κάνετε resume και να πηγαίνει λίγο παραπέρα από την προηγούμενη φορά. Έτσι μπορείτε να είστε σχετικά βέβαιοι ότι αν ο ένας από τους 2 δίσκους δε σκάσει τελείως, το copy θα τελειώσει κάποτε ...
  3. Επειδή όπως είπαμε κανείς δε θέλει να κάθεται να νταντεύει ένα copy, η απλή λύση (don't you love unix) είναι rsync -avh --progress bla/ blo/ || mplayer metallica.mp3 και το volume στο full. Ο λόγος που δε βάζουμε απλά το rsync μέσα σε ένα endless loop είναι ότι συνήθως όταν σκάει το copy χρειάζεται ανθρώπινη επέμβαση στο hardware (aka βάλε - βγάλε το δίσκο στο USB port) για να μπορεί να συνεχίσει
Θα ήθελα να παρατηρήσω εδώ αυτό που λένε κάποιοι χρήστες των windows ότι "το linux είναι μόνο για servers". Καθώς η τεχνολογία προχωράει, όλο και περισσότερες εργασίες που παλιότερα θα χρειαζόταν να γίνουν μόνο σε high end servers / datacenters γίνονται πλέον σπίτι μας (π.χ., το να παίζουμε με terabytes δεδομένων).

Σε αυτές τις περιπτώσεις όσοι χρησιμοποιούμε linux έχουμε πάντα δίπλα μας τα δοκιμασμένα και πιστά command-line tools για να "βγάλουμε το φίδι απ' την τρύπα" :)

Παντελής

1 σχόλιο:

  1. Άρχοντα Παντελή, τρομάζω μόνο στην ιδέα ότι σε λίγο καιρό θα πρέπει να το κάνω κι εγώ αυτό το πράμα, ευτυχώς για λίγο λιγότερα δεδομένα (700GB)...
    Αντίστοιχες εντολές για περιβάλλον Windows δεν υπάρχουνε;

    ΑπάντησηΔιαγραφή