Kā iesniegt Hadoop RRE darbu no Windows klienta (PuTTY)

Šajā rakstā ir aprakstīts, kā palaist skriptu Revolution R uzņēmuma Hadoop klastera Windows klientā ārpus klastera izmantojot PuTTY ssh klients.

1. Instalējiet un konfigurējiet Revolution R uzņēmuma 7.3 Hadoop klastera katrā Revolution R uzņēmuma 7.3 Hadoop konfigurācijas rokasgrāmata. Pārbaudiet, vai RRE klastera darbību, palaižot skriptu no vienas klastera izmantojot validācijas skriptu no sadaļas 4.

2. Klienta sistēmas Windows instalējiet Revolution R uzņēmuma sistēmai Windows 7.3.

3. Tepe ssh Install klienta klienta sistēmā Windows. Pārbaudiet, vai ssh R/Hadoop lietotājam no klienta sistēmas Windows pieteikšanās iespēju.

4. Konfigurējiet passwordless ssh R/Hadoop lietotājiem, izveidojot ssh keypair klientam un Hadoop namenode lietotājam. Informāciju par to izdarīt, ir atrodams šeit:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   vai arī saņemt palīdzību no tā grupas pēc vajadzības drošības prasībām. Saglabāt Windows klienta .ppk privāto atslēgu. Piemēram, "C:\data\hdp.ppk".

5. PuTTY klientu izveidot un saglabāt nosaukumu tepe pieteikšanās sesiju no klienta Hadoop namenode. Piemēram, "RREHDP".

6. Manuāli pārbaudīt passwordless pieteikšanās un lietotāju R (ex: scott) izmantojot PuTTY plink.exe rīku un saglabāto sesijas atslēga:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Plink.exe testa pieteikšanās ir veiksmīga, modificēt iekļaujot ssh savienojumu informāciju klients izmanto palaižot skriptu no vienas klastera Hadoop aprēķināt kontekstā. Piemērs:
   
   Pamata hadoop aprēķinu kontekstā darbībai skriptu klastera mezgls

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Paplašinātā darbībai skriptu Windows klientā, izmantojot PuTTY hadoop aprēķināt kontekstā. Ņemiet vērā, izmantojot PuTTY, mySshHostname būtu nevar skatīt namenode resursdatora. Šī informācija ir saglabātā tepe sesijā. Skripta mySshHostname jāiestata saglabāto sesijas nosaukumu.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches vērtības var izmantot, lai iesniegtu citus argumentus, cik nepieciešams, lai ssh klientu, piemēram, pēc noklusējuma ssh portu.

8. Pārbaudiet R skriptu no Revolution R Enterprise Windows klientu. Skripta būtu veidot savienojumu, izmantojot tepe ssh klients fonā iesniegt skriptu izpildei, namenode.

Papildinformāciju skatiet sadaļā RevoScaleR Hadoop darba sākšanas rokasgrāmatā .