Cum să prezinte RRE lucrare Hadoop de la un client Windows (Cygwin)

Acest articol descrie cum se execută un script Revolution R Enterprise într-un cluster Hadoop de la un client Windows în afara clusterul folosind ssh într-un mediu Cygwin.

1. Instalare și configurare Revolution R Enterprise 7.3 în clusterul Hadoop per Revolution R Enterprise 7.3 Hadoop Ghidul de configurare. Verificați funcționarea RRE în clusterul când scriptul se execută din în clusterul utilizând scriptul de validare din secțiunea 4.

2. Instalați Revolution R Enterprise pentru Windows 7.3 pe clientul sistem Windows.

3. Instalați mediul Cygwin pe client Windows sistem fiind sigur pentru a include ssh componentele clientului. Verificați ssh capacitatea de conectare pentru R/Hadoop utilizator din sistemul client Windows.

4. Configurați passwordless ssh pentru utilizator R/Hadoop prin crearea unui ssh keypair pe client și pe namenode Hadoop pentru utilizator. Informații despre face acest lucru poate fi găsit aici:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   sau obţineţi asistenţă de la grup IT, după cum este necesar să respecte cerințele de securitate. Salvați cheia privată .pem pe Windows client. De exemplu, "C:\data\hdp.pem".

5. Verificați manual conectare passwordless pentru utilizator R (ex: scott) de la un Cygwin bash sesiune la namenode utilizând cheia:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Dacă de testare manuală conectarea reușește, modificați contextul de calcul Hadoop utilizat când se execută scriptul din în clusterul includă ssh conexiune informațiile necesare de client. De exemplu:
   
   Bază hadoop calcula context utilizat când se execută scriptul de la un nod de cluster

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Context de calcul hadoop utilizat când se execută scriptul de la un client Windows prin Cygwin ssh de extins.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Valoarea sshSwitches pot fi utilizate pentru a remite alte argumente, după cum este necesar să ssh client, cum ar fi un implicit ssh port.

7. Testați R scriptul din Revolution R Enterprise pe Windows client. Script ar trebui să vă conectați folosind Cygwin ssh client în fundal pentru a remite scriptul pentru executarea pe namenode.

Consultați RevoScaleR Hadoop Noţiuni de bază Ghidul pentru mai multe informații.