Tento článek popisuje, jak spustit skript revoluce R Enterprise Hadoop cluster z klienta Windows mimo cluster pomocí nátěrové ssh klienta.
-
Nainstalujte a nakonfigurujte revoluce R Enterprise 7.3 za Revoluce R Enterprise 7.3 Hadoop Průvodce konfiguracíclusteru Hadoop. Ověřte operace RRE v clusteru při spuštění skriptu z v rámci clusteru pomocí ověřovacího skriptu z bodu 4.
-
Nainstalujte klienta systému Windows Enterprise revoluce R pro Windows 7.3.
-
Instalace nátěrové ssh klienta na klienta systému Windows. Ověřte ssh možnost přihlášení uživatele R/Hadoop z klienta systému Windows.
-
Konfigurace passwordless ssh pro uživatele R/Hadoop vytvořením ssh keypair na straně klienta a na namenode Hadoop pro uživatele. Informace naleznete zde:
https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
nebo získat pomoc z vaší skupiny IT, jak je nezbytné pro dosažení souladu s požadavky na zabezpečení. Uložte .ppk soukromý klíč v klientském počítači systému Windows. Například, "C:\data\hdp.ppk". -
V klientovi nátěrové vytvořte a uložte s názvem nátěrové relace pro přihlášení z klienta Hadoop namenode. Například, "RREHDP".
-
Ručně ověřte passwordless přihlášení a uživatel R (ex: scott) pomocí nástroje plink.exe nátěrové, uložené relace a klíče:
"C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
-
Pokud úspěšného přihlášení test plink.exe se změňte kontextu výpočetní Hadoop umožňuje zahrnout ssh klient potřebuje informace o připojení při spuštění skriptu z v rámci clusteru. Například:
Základní hadoop vypočítat kontextu používá při spuštění skriptu v uzlu clusterumyHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
cluster <- rxSetComputeContext(myHadoopCluster)Hadoop výpočetní kontextu používá při spuštění skriptu z klienta se systémem Windows prostřednictvím nátěrové prodloužena. Poznámka: při použití nátěrové, by mySshHostname nelze odkazovat na název hostitele namenode. Tyto informace jsou uložené nátěrové relace. Ve skriptu je třeba nastavit mySshHostname na název uložené relace.
mySshUsername <- "scott"mySshHostname <- "RREHDP"
myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
myHadoopCluster <- RxHadoopMR(
hdfsShareDir = myHdfsShareDir,
shareDir = myShareDir,
sshUsername = mySshUsername,
sshHostname = mySshHostname,
sshClientDir = "C:\\Program Files (x86)\\PuTTY",
sshSwitches = "-i c:\\data\\hdp.ppk",
consoleOutput = TRUE)
cluster <- rxSetComputeContext(myHadoopCluster)Hodnotu sshSwitches lze podávat námitky podle potřeby ssh klienta, například jiné než výchozí ssh port.
-
Test skriptu R z R Enterprise revoluce na klienta systému Windows. Skript by měl připojit pomocí nátěrové ssh klient na pozadí odeslat skript pro spuštění na namenode.
V RevoScaleR Hadoop Příručka Začínáme pro další informace.