כיצד לשלוח משימה RRE Hadoop מלקוח Windows (PuTTY)

מאמר זה מתאר כיצד להפעיל script ארגון R מהפכת באשכול Hadoop מלקוח Windows מחוץ לאשכול באמצעות PuTTY של ssh לקוח.

1. התקנה והגדרה של הארגון R מהפכת 7.3 באשכול Hadoop לכל מהפכת R ארגון 7.3 Hadoop תצורת המדריך. ודא את הפעולה RRE באשכול כאשר קובץ ה-script מופעל בתוך האשכול באמצעות קובץ ה-script של אימות מהמקטע 4.

2. התקן מהפכת R ארגון עבור Windows 7.3 בלקוח מערכת Windows.

3. התקן PuTTY ssh לקוח בלקוח מערכת Windows. ודא ssh יכולת כניסה עבור המשתמש R/Hadoop מהמערכת לקוח Windows.

4. קביעת תצורה של passwordless ssh עבור המשתמש R/Hadoop על-ידי יצירת ssh מפתחות על הלקוח ועל namenode Hadoop עבור המשתמש. ניתן למצוא כאן מידע אודות פעולה זו:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   או לקבל סיוע מקבוצת ה-IT שלך לפי הצורך כדי לציית לדרישות האבטחה. לשמור את המפתח הפרטי .ppk בלקוח Windows. לדוגמה, "C:\data\hdp.ppk".

5. בלקוח PuTTY, ליצור ולשמור הפעלה PuTTY בעל שם עבור הכניסה מהלקוח Hadoop namenode. לדוגמה, "RREHDP".

6. לאמת ידנית את הכניסה passwordless והמשתמש R (לדוגמה: סמי) באמצעות הכלי plink.exe של PuTTY, ההפעלה שנשמרו והמפתח:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. אם הכניסה מחשב plink.exe מוצלחת, שנה את הקשר מחשוב Hadoop נעשה שימוש בעת הפעלת קובץ ה-script מתוך בתוך האשכול כדי לכלול ssh חיבור המידע הנדרש על-ידי הלקוח. לדוגמה:
   
   Hadoop בסיסי לחשב הקשר המשמש בעת הפעלת קובץ ה-script מתוך צומת אשכול

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   מורחב הקשר מחשוב hadoop נעשה שימוש בעת הפעלת קובץ ה-script מתוך לקוח של Windows באמצעות PuTTY. שים לב בעת שימוש PuTTY, יש mySshHostname לא להפנות שם המחשב המארח של namenode. מידע זה הוא בהפעלה PuTTY שנשמר. בקובץ ה-script, יש להגדיר mySshHostname את שם ההפעלה שנשמרו.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   הערך sshSwitches עשוי לשמש לשם שליחת ארגומנטים אחרים לפי הצורך ssh לקוח, כגון שאינו ברירת מחדל ssh יציאה.

8. בדוק את הסקריפט R מארגון R מהפכת בלקוח Windows. קובץ ה-script יש להתחבר באמצעות PuTTY ssh לקוח ברקע לשלוח את קובץ ה-script עבור ביצוע על namenode.

עיין Hadoop RevoScaleR תחילת מדריך התחיל לקבלת מידע נוסף.