Dieser Artikel beschreibt, wie eine Revolution R Enterprise Hadoop-Clusters von einem Windows-Client außerhalb des Clusters über ssh in Cygwin-Umgebung ausführen.
-
Installieren und Konfigurieren von Revolution R Enterprise 7.3 im Cluster Hadoop pro Umdrehung R Enterprise 7.3 Hadoop Configuration Guide. Überprüfen des Vorgangs RRE im Cluster, wenn das Skript im Abschnitt 4 Prüfskripts aus Cluster läuft.
-
Installieren Sie auf dem Client WindowsSystem Revolution R Enterprise für Windows 7.3.
-
Installieren die Cygwin-Umgebung auf dem Client WindowsSystem vergessen Sie die ssh-Client-Komponenten. Überprüfen Sie ssh Anmeldefunktionen R-Hadoop Benutzer vom Windows-Client-System.
-
Konfigurieren Sie ohne Passwort ssh für den R-Hadoop Benutzer durch Erstellen einer ssh Schlüsselpaar auf dem Client und Hadoop Namenode für den Benutzer. Informationen hierzu finden Sie hier:
http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
oder Unterstützung Ihrer IT-Gruppe Bedarf Sicherheit erfüllen. Speichern Sie den Schlüssel privates PEM-auf dem Windows-Client. Beispielsweise "C:\data\hdp.pem". -
Ohne Passwort Login für den Benutzer R überprüfen (ex: Scott) aus einem Cygwin bash Sitzung mithilfe des Schlüssels Namenode:
$ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
-
Wenn die manuelle Test Anmeldung erfolgreich ist, Ändern des Hadoop Compute Kontexts aus im Cluster ausgeführt, ssh Verbindung vom Client benötigten Angaben. Beispiel:
Grundlegende Hadoop berechnen Kontext von einem Clusterknoten ausgeführtmyHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
cluster <- rxSetComputeContext(myHadoopCluster)
Erweiterte Hadoop Compute Kontext aus einem Windows-Client über Cygwin ssh ausgeführt.mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
myHadoopCluster <- RxHadoopMR(
hdfsShareDir = myHdfsShareDir,
shareDir = myShareDir,
sshUsername = mySshUsername,
sshHostname = mySshHostname,
sshSwitches = "-i c:\\data\\hdp.pem",
consoleOutput = TRUE)
cluster <- rxSetComputeContext(myHadoopCluster)SshSwitches Wert verwendet andere Argumente zu übermitteln die ssh-Client wie eine standardmäßige ssh-port.
-
Testen Sie das Skript R aus Revolution R auf dem Windows-Client. Das Skript sollte Herstellen der Cygwin ssh Client im Hintergrund das Skript für die Ausführung auf dem Namenode übermitteln.
Die RevoScaleR Hadoop Handbuch Erste Schritte anzeigen