Jak podávat RRE úlohy Hadoop z klienta Windows (softwaru Cygwin)

Tento článek popisuje, jak spustit skript revoluce R Enterprise Hadoop cluster z klienta Windows mimo cluster pomocí ssh v prostředí softwaru Cygwin.

1. Nainstalujte a nakonfigurujte revoluce R Enterprise 7.3 za Revoluce R Enterprise 7.3 Hadoop Průvodce konfiguracíclusteru Hadoop. Ověřte operace RRE v clusteru při spuštění skriptu z v rámci clusteru pomocí ověřovacího skriptu z bodu 4.

2. Nainstalujte klienta systému Windows Enterprise revoluce R pro Windows 7.3.

3. Instalace softwaru Cygwin prostředí v klientském počítači systému Windows je nutné zahrnout ssh součásti klienta. Ověřte ssh možnost přihlášení uživatele R/Hadoop z klienta systému Windows.

4. Konfigurace passwordless ssh pro uživatele R/Hadoop vytvořením ssh keypair na straně klienta a na namenode Hadoop pro uživatele. Informace naleznete zde:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   nebo získat pomoc z vaší skupiny IT, jak je nezbytné pro dosažení souladu s požadavky na zabezpečení. Uložte .pem soukromý klíč v klientském počítači systému Windows. Například, "C:\data\hdp.pem".

5. Ručně ověřte passwordless přihlášení uživatele R (ex: scott) z softwaru Cygwin flám namenode pomocí klíče relace:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Pokud je úspěšné přihlášení ručního testu, změňte kontextu výpočetní Hadoop umožňuje zahrnout ssh klient potřebuje informace o připojení při spuštění skriptu z v rámci clusteru. Například:
   
   Základní hadoop vypočítat kontextu používá při spuštění skriptu v uzlu clusteru

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Rozšířené místní výpočetní hadoop používá při spuštění skriptu z klienta se systémem Windows prostřednictvím softwaru Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Hodnotu sshSwitches lze podávat námitky podle potřeby ssh klienta, například jiné než výchozí ssh port.

7. Test skriptu R z R Enterprise revoluce na klienta systému Windows. Skript by měl připojit pomocí softwaru Cygwin ssh klient na pozadí odeslat skript pro spuštění na namenode.

V RevoScaleR Hadoop Příručka Začínáme pro další informace.