Het RRE taak aan Hadoop verzenden vanaf een Windows-client (stopverf)

In dit artikel wordt beschreven hoe een revolutie R Enterprise script uitvoeren in een cluster Hadoop vanaf een Windows-client buiten het cluster met behulp van een PuTTY ssh client.

1. Installeer en configureer revolutie R Enterprise 7.3 in het cluster Hadoop per Omwenteling R Enterprise 7.3 Hadoop handleiding voor de configuratievan de. Controleer of de werking van RRE in het cluster als vanuit het script wordt uitgevoerd binnen het cluster met behulp van het validatiescript van punt 4.

2. Revolutie R Enterprise voor Windows 7.3 installeren op de client Windows-systeem.

3. De PuTTY ssh-client installeren op de client Windows-systeem. Controleer of ssh login mogelijkheid voor de gebruiker R/Hadoop van het clientsysteem Windows.

4. Configureren passwordless ssh voor de gebruiker R/Hadoop door het maken van een ssh sleutelpaar op de client en op de Hadoop-namenode voor de gebruiker. Informatie hierover vindt u hier:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   of u hulp nodig hebt van uw IT-afdeling om te voldoen aan de vereisten voor de beveiliging. De .ppk persoonlijke sleutel opslaan op de Windows-client. Bijvoorbeeld "C:\data\hdp.ppk".

5. In de stopverf client maakt en een benoemde stopverf sessie voor de aanmelding van de client in het Hadoop-namenode opslaan. Bijvoorbeeld "RREHDP".

6. Handmatig controleren of het passwordless inloggen en de gebruiker R (ex: scott) met behulp van de stopverf plink.exe tool, de opgeslagen sessie en de sleutel:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Als de plink.exe test aanmelding succesvol is, wijzig de Hadoop compute context gebruikt bij het uitvoeren van het script uit binnen het cluster moet ssh verbindingsgegevens bevatten die nodig zijn voor de client. Bijvoorbeeld:
   
   Basic hadoop context gebruikt bij het uitvoeren van het script van een clusterknooppunt berekenen

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Uitgebreide hadoop compute context gebruikt wanneer het script wordt uitgevoerd vanaf een Windows-client via stopverf. Houd er rekening mee bij het gebruik van stopverf, mySshHostname moeten niet verwijzen naar de hostnaam namenode. Deze informatie is in de opgeslagen sessie stopverf. In het script moet mySshHostname worden ingesteld op de naam van de opgeslagen sessie.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   De waarde sshSwitches in te dienen die nodig zijn voor andere argumenten kan worden gebruikt de ssh-client, zoals een niet-standaard ssh-poort.

8. Test het script R uit revolutie R onderneming op de Windows-client. Het script moet verbinding maken met de PuTTY ssh-client op de achtergrond in te dienen van het script wordt uitgevoerd op de namenode.

Zie RevoScaleR Hadoop Getting Started Guide voor meer informatie.