Kaip pateikti Hadoop SAE200 darbo su "Windows" kliento (Cygwin)

Šiame straipsnyje aprašoma, kaip paleisti Revolution R Enterprise scenarijų Hadoop sankaupos iš "Windows" kliento ribų grupės naudojant ssh Cygwin aplinkoje.

1. Įdiekite ir sukonfigūruokite Revolution R Enterprise 7,3 Hadoop grupės už Revolution R Enterprise 7,3 Hadoop konfigūravimo vadovas. Patikrinti SAE200 grupės vykdant scenarijų iš per grupės naudojant tikrinimo scenarijų iš 4 skyrių.

2. Įdiekite Revolution R Enterprise Windows 7,3 kliento sistemos "Windows".

3. "Windows" sistemą, būtinai kliente įdiekite Cygwin aplinkoje, ssh kliento komponentų. Patikrinkite, ar ssh R/Hadoop Windows sistemos vartotojo prisijungimo funkciją.

4. Konfigūruoti passwordless ssh R/Hadoop vartotojo kūrimas, ssh raktų porą kliento ir namenode Hadoop vartotojo. Informacijos apie tai rasite čia:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   arba gauti pagalbą iš savo IT grupės, kad saugos reikalavimų. Įrašyti .pem privatusis raktas "Windows" kliento. Pvz., "C:\data\hdp.pem".

5. Rankiniu būdu patikrinti passwordless prisijungimo R vartotojo (ex: scott) iš a Cygwin bash seansą su namenode raktu:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Jei pavyko rankiniu būdu bandymų prisijungti, pakeisti Hadoop apskaičiuoti konteksto naudojamas, kai veikia scenarijų iš per grupės apima ssh reikia kliento ryšio informaciją. Pvz.:
   
   Pagrindinė hadoop skaičiavimo aplinka, kai veikia scenarijų iš Sankaupos mazgas

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Išplėstinis hadoop apskaičiuoti konteksto naudojamas, kai veikia scenarijų iš "Windows" kliento Cygwin per ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches reikšmė gali būti naudojama pateikti argumentų, kiek reikia, ssh klientas, pvz., ne numatytąjį ssh uosto.

7. Patikrinkite R scenarijų iš Revolution R Enterprise, "Windows" kliento. Scenarijų turėtų prisijungti naudojant toliau Cygwin ssh kliento fone pateikti scenarijų vykdymo ant namenode.

RevoScaleR Hadoop darbo pradžia vadovas , jei norite gauti daugiau informacijos žr.