Kaip pateikti Hadoop SAE200 darbo su "Windows" kliento (glaistas)

Šiame straipsnyje aprašoma, kaip paleisti Revolution R Enterprise scenarijų Hadoop sankaupos iš "Windows" kliento ribų grupės, naudojant su PuTTY ssh klientas.

1. Įdiekite ir sukonfigūruokite Revolution R Enterprise 7,3 Hadoop grupės už Revolution R Enterprise 7,3 Hadoop konfigūravimo vadovas. Patikrinti SAE200 grupės vykdant scenarijų iš per grupės naudojant tikrinimo scenarijų iš 4 skyrių.

2. Įdiekite Revolution R Enterprise Windows 7,3 kliento sistemos "Windows".

3. Į PuTTY ssh kliento kliente įdiekite "Windows" sistemos. Patikrinkite, ar ssh R/Hadoop Windows sistemos vartotojo prisijungimo funkciją.

4. Konfigūruoti passwordless ssh R/Hadoop vartotojo kūrimas, ssh raktų porą kliento ir namenode Hadoop vartotojo. Informacijos apie tai rasite čia:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   arba gauti pagalbą iš savo IT grupės, kad saugos reikalavimų. Įrašyti .ppk privatusis raktas "Windows" kliento. Pvz., "C:\data\hdp.ppk".

5. Glaistas kliente, sukurti ir įrašyti pavadintas glaistas seanso, prisijungimo kliento Hadoop namenode. Pvz., "RREHDP".

6. Rankiniu būdu patikrinti passwordless prisijungti ir R vartotojo (ex: scott) į PuTTY plink.exe įrankis, įrašyti seanso ir raktas:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Jei plink.exe bandymas prisijungti pavyko, pakeisti Hadoop apskaičiuoti konteksto naudojamas, kai veikia scenarijų iš per grupės apima ssh reikia kliento ryšio informaciją. Pvz.:
   
   Pagrindinė hadoop skaičiavimo aplinka, kai veikia scenarijų iš Sankaupos mazgas

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Išplėstinis hadoop apskaičiuoti konteksto naudojamas, kai veikia scenarijų iš "Windows" kliento per PuTTY. Atkreipkite dėmesį, kai naudojant glaistai, mySshHostname turi ne perduoti namenode pagrindinio kompiuterio pavadinimas. Ši informacija yra įrašyti glaistas seanso metu. Scenarijaus, mySshHostname turi būti nustatyta įrašyti seanso pavadinimą.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches reikšmė gali būti naudojama pateikti argumentų, kiek reikia, ssh klientas, pvz., ne numatytąjį ssh uosto.

8. Patikrinkite R scenarijų iš Revolution R Enterprise, "Windows" kliento. Scenarijų turėtų prisijungti naudojant glaistas ssh kliento fone pateikti scenarijų vykdymo ant namenode.

RevoScaleR Hadoop darbo pradžia vadovas , jei norite gauti daugiau informacijos žr.