Come inviare processi RRE di Hadoop da un client Windows (PuTTY)

In questo articolo viene descritto come eseguire uno script di rivoluzione R Enterprise in un cluster Hadoop da un client Windows all'esterno del cluster utilizzando un PuTTY ssh client.

1. Installare e configurare Enterprise R rivoluzione 7.3 del cluster Hadoop per la Guida alla configurazione di rivoluzione R aziendale 7.3 Hadoop. Verificare il funzionamento di RRE del cluster quando lo script viene eseguito all'interno del cluster utilizzando lo script di convalida dalla sezione 4.

2. Installare rivoluzione R Enterprise per Windows 7.3 sul sistema di Windows client.

3. Installare il PuTTY ssh client sul client del sistema di Windows. Verificare ssh funzionalità di accesso dell'utente R/Hadoop dal sistema client Windows.

4. Configurare passwordless ssh per la R/Hadoop utente creando un ssh keypair sul client e sul namenode di Hadoop per l'utente. Informazioni su questa operazione sono disponibili qui:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   o ottenere assistenza dal gruppo IT necessarie per conformarsi ai requisiti di protezione. Salvare la chiave privata .ppk sul client Windows. Ad esempio, "C:\data\hdp.ppk".

5. Nel client PuTTY, creare e salvare una sessione denominata PuTTY per l'accesso dal client per la namenode di Hadoop. Ad esempio, "RREHDP".

6. Verificare manualmente l'account di accesso passwordless e l'utente R (ex: scott) mediante strumento plink.exe del PuTTY, salvato nella sessione e la chiave:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Se l'account di accesso plink.exe test ha esito positivo, è possibile modificare il contesto di elaborazione Hadoop utilizzato quando si esegue lo script all'interno del cluster per includere ssh le informazioni di connessione richieste dal client. Per esempio:
   
   Hadoop base calcolare contesto utilizzato durante l'esecuzione dello script da un nodo del cluster

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Esteso hadoop compute contesto utilizzato durante l'esecuzione dello script da un client Windows tramite PuTTY. Nota Quando si utilizza PuTTY, mySshHostname necessario non fare riferimento al nome host namenode. Tale informazione è nella sessione salvata PuTTY. Nello script, impostare mySshHostname sul nome della sessione salvata.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Il valore di sshSwitches può essere utilizzato per inviare altri argomenti in base alle esigenze per il ssh client, ad esempio non predefinita porta ssh.

8. Verificare lo script di R da Enterprise R rivoluzione sul client Windows. Lo script utilizza la connessione di PuTTY ssh client in background di inviare lo script per l'esecuzione di namenode.

Vedere RevoScaleR Hadoop Guida introduttiva per ulteriori informazioni.