Kuidas esitada RRE-d töö Hadoopi Windowsi kliendi (Cygwin)

Selles artiklis kirjeldatakse, kuidas käivitada skripti Revolution R Enterprise Hadoopi klastris klastri ssh abil Cygwin keskkonnas väljaspool Windowsi kliendi.

1. Installige ja konfigureerige Revolution R Enterprise 7,3 Hadoopi klastri kohta Revolution R Enterprise 7,3 Hadoopi seadistamine. Kui skript käivitatakse klastri valideerimise skripti kasutades jaotises 4 jooksul kontrollida, kas klastri RRE-d toimivad.

2. Installige Revolution R Enterprise Windows 7.3 kliendi Windowsi süsteemi.

3. Installida Windowsi süsteemi, lisades kindlasti ka kliendi Cygwin keskkonnas on ssh kliendi komponendid. Kontrollige ssh sisselogimise võimalus R/Hadoopi kasutaja Windowsi kliendi süsteemist.

4. Konfigureerige passwordless ssh R/Hadoopi kasutaja loomine on ssh keypair klient ja Hadoopi namenode'ini kasutaja. Teavet selle kohta leiate siit:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   või saada abi oma IT grupi vastavalt vajadusele nõuetele. Salvesta privaatne .pem võti Windows Client. Näiteks "C:\data\hdp.pem".

5. Käsitsi kontrollida passwordless login R kasutaja (nt: scott) from a Cygwin bash seanssi namenode'ini võtme abil:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Kui login käsitsi katse õnnestub, muutke Hadoopi compute raames kasutada skripti jooksul klastri käivitamisel kaasata ssh ühendus teabe, mida klient vajab. Näiteks:
   
   Tavaline Hadoopi arvutada kontekstis kasutada skripti käivitamisel klastri sõlm

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Laiendatud Hadoopi compute kontekstis kasutatakse käivitamisel skripti Windows kliendi Cygwin kaudu ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches väärtus võib kasutada muid argumente esitada vajalik on ssh klient nagu mitte-vaikimisi ssh port.

7. Testige R skripti Revolution R Enterprise Windows Client. Skripti peaksid looma, kasutades seda Cygwin ssh kliendi taustal esitamiseks skripti namenode'ini täitmiseks.

Lugege lisateavet RevoScaleR Hadoopi alustamine juhend .