כיצד לשלוח משימה RRE Hadoop מלקוח Windows (Cygwin)

מאמר זה מתאר כיצד להפעיל script ארגון R מהפכת באשכול Hadoop מלקוח Windows מחוץ לאשכול באמצעות ssh בסביבה Cygwin.

1. התקנה והגדרה של הארגון R מהפכת 7.3 באשכול Hadoop לכל מהפכת R ארגון 7.3 Hadoop תצורת המדריך. ודא את הפעולה RRE באשכול כאשר קובץ ה-script מופעל בתוך האשכול באמצעות קובץ ה-script של אימות מהמקטע 4.

2. התקן מהפכת R ארגון עבור Windows 7.3 בלקוח מערכת Windows.

3. להתקין את הסביבה Cygwin בלקוח מערכת Windows והקפד לכלול ssh רכיבי הלקוח. ודא ssh יכולת כניסה עבור המשתמש R/Hadoop מהמערכת לקוח Windows.

4. קביעת תצורה של passwordless ssh עבור המשתמש R/Hadoop על-ידי יצירת ssh מפתחות על הלקוח ועל namenode Hadoop עבור המשתמש. ניתן למצוא כאן מידע אודות פעולה זו:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   או לקבל סיוע מקבוצת ה-IT שלך לפי הצורך כדי לציית לדרישות האבטחה. לשמור את המפתח הפרטי .pem בלקוח Windows. לדוגמה, "C:\data\hdp.pem".

5. לאמת ידנית את הכניסה passwordless עבור המשתמש R (לדוגמה: סמי) מתוך Cygwin למסיבת ההפעלה כדי namenode באמצעות המפתח:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. אם הכניסה מחשב ידניים מוצלחת, לשנות את הקשר מחשוב Hadoop נעשה שימוש בעת הפעלת קובץ ה-script מתוך בתוך האשכול כדי לכלול ssh חיבור המידע הנדרש על-ידי הלקוח. לדוגמה:
   
   Hadoop בסיסי לחשב הקשר המשמש בעת הפעלת קובץ ה-script מתוך צומת אשכול

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   מורחב הקשר מחשוב hadoop המשמש בעת הפעלת קובץ ה-script מתוך לקוח Windows באמצעות Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   הערך sshSwitches עשוי לשמש לשם שליחת ארגומנטים אחרים לפי הצורך ssh לקוח, כגון שאינו ברירת מחדל ssh יציאה.

7. בדוק את הסקריפט R מארגון R מהפכת בלקוח Windows. קובץ ה-script יש להתחבר באמצעות Cygwin ssh לקוח ברקע לשלוח את קובץ ה-script עבור ביצוע על namenode.

עיין Hadoop RevoScaleR תחילת מדריך התחיל לקבלת מידע נוסף.