Πώς μπορείτε να υποβάλετε την εργασία RRE για να Hadoop από έναν υπολογιστή-πελάτη των Windows (PuTTY)

Αυτό το άρθρο περιγράφει τον τρόπο εκτέλεσης μιας δέσμης ενεργειών εταιρικής R επανάσταση σε ένα σύμπλεγμα Hadoop από έναν υπολογιστή-πελάτη Windows έξω από το σύμπλεγμα χρησιμοποιώντας ένα PuTTY ssh υπολογιστή-πελάτη.

1. Εγκαταστήσετε και να ρυθμίσετε την εταιρική R επανάσταση 7.3 του συμπλέγματος Hadoop ανά Επανάσταση R εταιρικού 7.3 Hadoop Οδηγός ρύθμισης παραμέτρων. Επαληθεύσετε τη λειτουργία των RRE στο σύμπλεγμα, όταν η δέσμη ενεργειών εκτελείται από μέσα στο σύμπλεγμα χρησιμοποιώντας δέσμη ενεργειών επικύρωσης από ενότητα 4.

2. Εγκατάσταση επανάσταση R εταιρείας για Windows 7.3 του προγράμματος-πελάτη του συστήματος των Windows.

3. Εγκαταστήστε το PuTTY ssh πελάτη του προγράμματος-πελάτη του συστήματος των Windows. Επαλήθευση ssh δυνατότητα σύνδεσης για το χρήστη R/Hadoop από το σύστημα του υπολογιστή-πελάτη των Windows.

4. Ρυθμίστε τις παραμέτρους passwordless ssh για το χρήστη R/Hadoop, δημιουργώντας ένα ssh κλειδιών σχετικά με το πρόγραμμα-πελάτη και το namenode Hadoop για το χρήστη. Εδώ, μπορείτε να βρείτε πληροφορίες σχετικά με αυτόν τον τρόπο:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   ή, μπορείτε να λάβετε βοήθεια από την ομάδα IT σας που απαιτούνται για τη συμμόρφωση με τις απαιτήσεις ασφαλείας. Αποθηκεύσετε το κλειδί ιδιωτικό .ppk του προγράμματος-πελάτη των Windows. Για παράδειγμα, "C:\data\hdp.ppk".

5. Στο PuTTY-πελάτη, δημιουργήστε και αποθηκεύστε μια καθορισμένη περίοδο λειτουργίας PuTTY για σύνδεση από το πρόγραμμα-πελάτης για την namenode Hadoop. Για παράδειγμα, "RREHDP".

6. Επιβεβαιώστε με μη αυτόματο τρόπο τη σύνδεση passwordless και ο χρήστης R (ex: ο scott) χρησιμοποιώντας το εργαλείο plink.exe το PuTTY, το αποθηκευμένο περιόδων λειτουργίας και το κλειδί:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Εάν η σύνδεση δοκιμής plink.exe είναι επιτυχής, να τροποποιήσετε το περιβάλλον compute Hadoop που χρησιμοποιείται κατά την εκτέλεση της δέσμης ενεργειών από μέσα στο σύμπλεγμα θα συμπεριληφθούν ssh πληροφορίες σύνδεσης που απαιτούνται από το πρόγραμμα-πελάτη. Για παράδειγμα:
   
   Βασικές hadoop compute περιβάλλοντος που χρησιμοποιείται κατά την εκτέλεση της δέσμης ενεργειών από έναν κόμβο συμπλέγματος

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Η επέκταση hadoop compute περιβάλλοντος που χρησιμοποιείται κατά την εκτέλεση της δέσμης ενεργειών από έναν υπολογιστή-πελάτη των Windows μέσω PuTTY. Σημείωση Όταν χρησιμοποιείτε PuTTY, θα πρέπει να mySshHostname δεν αναφέρεται το όνομα κεντρικού υπολογιστή του namenode. Ότι οι πληροφορίες είναι στην αποθηκευμένη περίοδο λειτουργίας PuTTY. Στη δέσμη ενεργειών, η mySshHostname πρέπει να οριστεί το όνομα της αποθηκευμένης περιόδου λειτουργίας.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Η τιμή sshSwitches είναι δυνατό να υποβάλλουν τα άλλα ορίσματα όπως απαιτείται για να τα ssh υπολογιστή-πελάτη, όπως μια μη προεπιλεγμένη ssh θύρας.

8. Δοκιμή δέσμης ενεργειών R από την εταιρεία R επανάσταση του υπολογιστή-πελάτη των Windows. Η δέσμη ενεργειών πρέπει να συνδεθούν χρησιμοποιώντας το PuTTY ssh υπολογιστή-πελάτη στο παρασκήνιο για να υποβάλετε τη δέσμη ενεργειών για εκτέλεση από το namenode.

Ανατρέξτε στο θέμα RevoScaleR Hadoop Οδηγός γρήγορων αποτελεσμάτων για περισσότερες πληροφορίες.