Wie Hadoop RRE Auftrag von einem Windows-Client (kitten) übermitteln

Dieser Artikel beschreibt, wie eine Revolution R Enterprise Hadoop-Clusters von einem Windows-Client außerhalb des Clusters mit einem kitten ssh Client ausführen.

1. Installieren und Konfigurieren von Revolution R Enterprise 7.3 im Cluster Hadoop pro Umdrehung R Enterprise 7.3 Hadoop Configuration Guide. Überprüfen des Vorgangs RRE im Cluster, wenn das Skript im Abschnitt 4 Prüfskripts aus Cluster läuft.

2. Installieren Sie auf dem Client WindowsSystem Revolution R Enterprise für Windows 7.3.

3. Installieren Sie die kitten ssh Client auf dem Client WindowsSystem. Überprüfen Sie ssh Anmeldefunktionen R-Hadoop Benutzer vom Windows-Client-System.

4. Konfigurieren Sie ohne Passwort ssh für den R-Hadoop Benutzer durch Erstellen einer ssh Schlüsselpaar auf dem Client und Hadoop Namenode für den Benutzer. Informationen hierzu finden Sie hier:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   oder Unterstützung Ihrer IT-Gruppe Bedarf Sicherheit erfüllen. Speichern des privaten .ppk-Schlüssels auf dem Windows-Client. Beispielsweise "C:\data\hdp.ppk".

5. PuTTY Client erstellen und Speichern einer benannten PuTTY Sitzung für die Anmeldung vom Client zu Hadoop Namenode. Beispielsweise "RREHDP".

6. Anmeldung ohne Passwort und die R manuell überprüfen (ex: Scott) mit der kitten plink.exe Tool, gespeicherten Sitzung und dem Schlüssel:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Wenn die Anmeldung plink.exe Test erfolgreich ist, Ändern des Hadoop Compute Kontexts aus im Cluster ausgeführt, ssh Verbindung vom Client benötigten Angaben. Beispiel:
   
   Grundlegende Hadoop berechnen Kontext von einem Clusterknoten ausgeführt

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Erweiterte Hadoop Compute Kontext aus einem Windows-Client über kitten ausgeführt. Anmerkung Wenn kitten, MySshHostname sollte nicht Namenode Hostnamen finden. Diese Informationen sind in der gespeicherten PuTTY Sitzung. Das Skript sollte MySshHostname auf den Namen der gespeicherten Sitzung festgelegt werden.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   SshSwitches Wert verwendet andere Argumente zu übermitteln die ssh-Client wie eine standardmäßige ssh-port.

8. Testen Sie das Skript R aus Revolution R auf dem Windows-Client. Das Skript sollte Herstellen der kitten ssh Client im Hintergrund das Skript für die Ausführung auf dem Namenode übermitteln.

Die RevoScaleR Hadoop Handbuch Erste Schritte anzeigen