Kuidas esitada RRE-d töö Hadoopi Windowsi kliendi (kitt)

Selles artiklis kirjeldatakse, kuidas käivitada skripti Revolution R Enterprise Hadoopi klastri klastri kasutamine on kitt ssh väljaspool Windowsi kliendi kliendi.

1. Installige ja konfigureerige Revolution R Enterprise 7,3 Hadoopi klastri kohta Revolution R Enterprise 7,3 Hadoopi seadistamine. Kui skript käivitatakse klastri valideerimise skripti kasutades jaotises 4 jooksul kontrollida, kas klastri RRE-d toimivad.

2. Installige Revolution R Enterprise Windows 7.3 kliendi Windowsi süsteemi.

3. Installige kitt ssh kliendi kliendi Windowsi süsteemi. Kontrollige ssh sisselogimise võimalus R/Hadoopi kasutaja Windowsi kliendi süsteemist.

4. Konfigureerige passwordless ssh R/Hadoopi kasutaja loomine on ssh keypair klient ja Hadoopi namenode'ini kasutaja. Teavet selle kohta leiate siit:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   või saada abi oma IT grupi vastavalt vajadusele nõuetele. Salvesta privaatne .ppk võti Windows Client. Näiteks "C:\data\hdp.ppk".

5. Kitt kliendi loomine ja Salvesta nimega kitt seansi login kliendi Hadoopi namenode'ini. Näiteks "RREHDP".

6. Käsitsi kontrollimine passwordless kasutajanime ja R kasutaja (nt: scott) on kitt plink.exe tööriista, salvestatud seansi ja võtme abil:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Kui login plink.exe katse õnnestub, muutke Hadoopi compute raames kasutada skripti jooksul klastri käivitamisel kaasata ssh ühendus teabe, mida klient vajab. Näiteks:
   
   Tavaline Hadoopi arvutada kontekstis kasutada skripti käivitamisel klastri sõlm

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Laiendatud Hadoopi compute kontekstis kasutada skripti käivitamisel Windows kliendi kaudu PuTTY. Pange tähele, kasutades PuTTY, mySshHostname peaks ei viidata namenode'ini hostname. See teave on salvestatud kitt seansis. Skript, tuleks seada mySshHostname salvestatud seansi nimi.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches väärtus võib kasutada muid argumente esitada vajalik on ssh klient nagu mitte-vaikimisi ssh port.

8. Testige R skripti Revolution R Enterprise Windows Client. Skripti peaksid looma, kasutades PuTTY ssh kliendi taustal esitamiseks skripti namenode'ini täitmiseks.

Lugege lisateavet RevoScaleR Hadoopi alustamine juhend .