Kā iesniegt Hadoop RRE darbu no Windows klienta (Cygwin)

Šajā rakstā ir aprakstīts, kā palaist skriptu Revolution R uzņēmuma Hadoop klastera Windows klientā ārpus klastera izmantojot ssh Cygwin vidē.

1. Instalējiet un konfigurējiet Revolution R uzņēmuma 7.3 Hadoop klastera katrā Revolution R uzņēmuma 7.3 Hadoop konfigurācijas rokasgrāmata. Pārbaudiet, vai RRE klastera darbību, palaižot skriptu no vienas klastera izmantojot validācijas skriptu no sadaļas 4.

2. Klienta sistēmas Windows instalējiet Revolution R uzņēmuma sistēmai Windows 7.3.

3. Cygwin vides instalēt klienta noteikti ietver Windows sistēmas ssh klienta komponentus. Pārbaudiet, vai ssh R/Hadoop lietotājam no klienta sistēmas Windows pieteikšanās iespēju.

4. Konfigurējiet passwordless ssh R/Hadoop lietotājiem, izveidojot ssh keypair klientam un Hadoop namenode lietotājam. Informāciju par to izdarīt, ir atrodams šeit:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   vai arī saņemt palīdzību no tā grupas pēc vajadzības drošības prasībām. Saglabāt Windows klienta .pem privāto atslēgu. Piemēram, "C:\data\hdp.pem".

5. Manuāli pārbaudīt passwordless R lietotāja pieteikšanās (ex: scott) no Cygwin bash sesijas atslēgas lietošana namenode:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Manuālas pārbaudes pieteikšanās ir veiksmīga, modificēt iekļaujot ssh savienojumu informāciju klients izmanto palaižot skriptu no vienas klastera Hadoop aprēķināt kontekstā. Piemērs:
   
   Pamata hadoop aprēķinu kontekstā darbībai skriptu klastera mezgls

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Paplašinātā darbībai skriptu Windows klientā, izmantojot Cygwin ssh hadoop aprēķināt kontekstā.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches vērtības var izmantot, lai iesniegtu citus argumentus, cik nepieciešams, lai ssh klientu, piemēram, pēc noklusējuma ssh portu.

7. Pārbaudiet R skriptu no Revolution R Enterprise Windows klientu. Skripta būtu veidot savienojumu, izmantojot Cygwin ssh klients fonā iesniegt skriptu izpildei, namenode.

Papildinformāciju skatiet sadaļā RevoScaleR Hadoop darba sākšanas rokasgrāmatā .