Jak podávat RRE úlohy Hadoop z klienta systému Windows (nátěrové)

Tento článek popisuje, jak spustit skript revoluce R Enterprise Hadoop cluster z klienta Windows mimo cluster pomocí nátěrové ssh klienta.

1. Nainstalujte a nakonfigurujte revoluce R Enterprise 7.3 za Revoluce R Enterprise 7.3 Hadoop Průvodce konfiguracíclusteru Hadoop. Ověřte operace RRE v clusteru při spuštění skriptu z v rámci clusteru pomocí ověřovacího skriptu z bodu 4.

2. Nainstalujte klienta systému Windows Enterprise revoluce R pro Windows 7.3.

3. Instalace nátěrové ssh klienta na klienta systému Windows. Ověřte ssh možnost přihlášení uživatele R/Hadoop z klienta systému Windows.

4. Konfigurace passwordless ssh pro uživatele R/Hadoop vytvořením ssh keypair na straně klienta a na namenode Hadoop pro uživatele. Informace naleznete zde:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   nebo získat pomoc z vaší skupiny IT, jak je nezbytné pro dosažení souladu s požadavky na zabezpečení. Uložte .ppk soukromý klíč v klientském počítači systému Windows. Například, "C:\data\hdp.ppk".

5. V klientovi nátěrové vytvořte a uložte s názvem nátěrové relace pro přihlášení z klienta Hadoop namenode. Například, "RREHDP".

6. Ručně ověřte passwordless přihlášení a uživatel R (ex: scott) pomocí nástroje plink.exe nátěrové, uložené relace a klíče:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Pokud úspěšného přihlášení test plink.exe se změňte kontextu výpočetní Hadoop umožňuje zahrnout ssh klient potřebuje informace o připojení při spuštění skriptu z v rámci clusteru. Například:
   
   Základní hadoop vypočítat kontextu používá při spuštění skriptu v uzlu clusteru

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Hadoop výpočetní kontextu používá při spuštění skriptu z klienta se systémem Windows prostřednictvím nátěrové prodloužena. Poznámka: při použití nátěrové, by mySshHostname nelze odkazovat na název hostitele namenode. Tyto informace jsou uložené nátěrové relace. Ve skriptu je třeba nastavit mySshHostname na název uložené relace.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Hodnotu sshSwitches lze podávat námitky podle potřeby ssh klienta, například jiné než výchozí ssh port.

8. Test skriptu R z R Enterprise revoluce na klienta systému Windows. Skript by měl připojit pomocí nátěrové ssh klient na pozadí odeslat skript pro spuštění na namenode.

V RevoScaleR Hadoop Příručka Začínáme pro další informace.