Πώς μπορείτε να υποβάλετε την εργασία RRE για να Hadoop από έναν υπολογιστή-πελάτη των Windows (Cygwin)

Αυτό το άρθρο περιγράφει τον τρόπο εκτέλεσης μιας δέσμης ενεργειών εταιρικής R επανάσταση σε ένα σύμπλεγμα Hadoop από έναν υπολογιστή-πελάτη Windows έξω από το σύμπλεγμα χρησιμοποιώντας ssh σε περιβάλλον Cygwin.

1. Εγκαταστήσετε και να ρυθμίσετε την εταιρική R επανάσταση 7.3 του συμπλέγματος Hadoop ανά Επανάσταση R εταιρικού 7.3 Hadoop Οδηγός ρύθμισης παραμέτρων. Επαληθεύσετε τη λειτουργία των RRE στο σύμπλεγμα, όταν η δέσμη ενεργειών εκτελείται από μέσα στο σύμπλεγμα χρησιμοποιώντας δέσμη ενεργειών επικύρωσης από ενότητα 4.

2. Εγκατάσταση επανάσταση R εταιρείας για Windows 7.3 του προγράμματος-πελάτη του συστήματος των Windows.

3. Εγκατάσταση Cygwin περιβάλλοντος του προγράμματος-πελάτη του συστήματος των Windows που πρέπει να συμπεριλάβετε το ssh στοιχεία προγράμματος-πελάτη. Επαλήθευση ssh δυνατότητα σύνδεσης για το χρήστη R/Hadoop από το σύστημα του υπολογιστή-πελάτη των Windows.

4. Ρυθμίστε τις παραμέτρους passwordless ssh για το χρήστη R/Hadoop, δημιουργώντας ένα ssh κλειδιών σχετικά με το πρόγραμμα-πελάτη και το namenode Hadoop για το χρήστη. Εδώ, μπορείτε να βρείτε πληροφορίες σχετικά με αυτόν τον τρόπο:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   ή, μπορείτε να λάβετε βοήθεια από την ομάδα IT σας που απαιτούνται για τη συμμόρφωση με τις απαιτήσεις ασφαλείας. Αποθηκεύσετε το κλειδί ιδιωτικό .pem του προγράμματος-πελάτη των Windows. Για παράδειγμα, "C:\data\hdp.pem".

5. Επιβεβαιώστε με μη αυτόματο τρόπο το passwordless σύνδεσης για το χρήστη R (ex: ο scott) από ένα Cygwin πάρτι το namenode χρησιμοποιώντας το κλειδί της περιόδου λειτουργίας:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Εάν η σύνδεση μη αυτόματη δοκιμή είναι επιτυχής, να τροποποιήσετε το περιβάλλον compute Hadoop που χρησιμοποιείται κατά την εκτέλεση της δέσμης ενεργειών από μέσα στο σύμπλεγμα θα συμπεριληφθούν ssh πληροφορίες σύνδεσης που απαιτούνται από το πρόγραμμα-πελάτη. Για παράδειγμα:
   
   Βασικές hadoop compute περιβάλλοντος που χρησιμοποιείται κατά την εκτέλεση της δέσμης ενεργειών από έναν κόμβο συμπλέγματος

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Η επέκταση hadoop compute περιβάλλοντος που χρησιμοποιείται κατά την εκτέλεση της δέσμης ενεργειών από έναν υπολογιστή-πελάτη των Windows μέσω Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Η τιμή sshSwitches είναι δυνατό να υποβάλλουν τα άλλα ορίσματα όπως απαιτείται για να τα ssh υπολογιστή-πελάτη, όπως μια μη προεπιλεγμένη ssh θύρας.

7. Δοκιμή δέσμης ενεργειών R από την εταιρεία R επανάσταση του υπολογιστή-πελάτη των Windows. Η δέσμη ενεργειών πρέπει να συνδεθούν χρησιμοποιώντας το Cygwin ssh υπολογιστή-πελάτη στο παρασκήνιο για να υποβάλετε τη δέσμη ενεργειών για εκτέλεση από το namenode.

Ανατρέξτε στο θέμα RevoScaleR Hadoop Οδηγός γρήγορων αποτελεσμάτων για περισσότερες πληροφορίες.