W tym artykule opisano sposób uruchomić skrypt Enterprise R Rewolucja w klastrze Hadoop z klientem systemu Windows znajdującego się poza klastrem przy użyciu Kit ssh klienta.
-
Zainstaluj i skonfiguruj Rewolucji R Enterprise 7.3 getindata za Rewolucji R Enterprise 7.3 Hadoop Configuration Guide. Sprawdzenie działania RRE w klastrze, gdy skrypt jest uruchamiany z wewnątrz klastra przy użyciu skryptu sprawdzania poprawności w sekcji 4.
-
Rewolucja R Enterprise dla Windows 7.3 należy zainstalować na komputerze klienckim systemu Windows.
-
Zainstaluj Kit ssh klienta na komputerze klienckim systemu Windows. Sprawdź ssh możliwości logowania dla użytkownika R/Hadoop z systemu klienta.
-
Konfigurowanie haseł ssh dla użytkownika R/Hadoop przez utworzenie ssh kluczy na komputerze klienckim i na namenode Hadoop dla użytkownika. Informacje na ten można znaleźć tutaj:https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#puttylub uzyskaj pomoc z grupy IT, ile potrzeba, aby spełniać wymagania w zakresie zabezpieczeń. Zapisz klucz prywatny .ppk na komputerze klienckim. Na przykład, "C:\data\hdp.ppk".
-
W kliencie Kit Utwórz i Zapisz nazwany Kit sesji logowania z klienta do Hadoop namenode. Na przykład, "RREHDP".
-
Ręcznie Sprawdź haseł logowania i użytkownika R (ex: scott) przy użyciu narzędzia plink.exe Kit, zapisanej sesji i klucz:
"C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
-
Po pomyślnym zalogowaniu test plink.exe się, zmodyfikować kontekstu obliczeń Hadoop użyte podczas wykonywania skryptu z w klastrze do umieszczenia ssh informacji o połączeniu niezbędnych przez klienta. Na przykład:Podstawowe hadoop obliczyć kontekstu używane podczas wykonywania skryptu z węzła klastra
myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)cluster <- rxSetComputeContext(myHadoopCluster)
Rozszerzone hadoop compute kontekstu używane podczas wykonywania skryptu z klienta Windows, via Kit. Uwaga Kiedy używany jest Kit, należy mySshHostname nie można znaleźć nazwy hosta namenode. Informacje te są w zapisanej sesji Kit. W skrypcie mySshHostname powinna być równa nazwę zapisanego sesji.
mySshUsername <- "scott"mySshHostname <- "RREHDP"myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")myHadoopCluster <- RxHadoopMR( hdfsShareDir = myHdfsShareDir, shareDir = myShareDir, sshUsername = mySshUsername, sshHostname = mySshHostname, sshClientDir = "C:\\Program Files (x86)\\PuTTY", sshSwitches = "-i c:\\data\\hdp.ppk", consoleOutput = TRUE)cluster <- rxSetComputeContext(myHadoopCluster)
Wartość sshSwitches może służyć do przedstawienia innych argumentów, ile potrzeba, aby ssh klienta, takiego jak inny niż domyślny ssh port.
-
Przetestować skrypt R od Rewolucji R przedsiębiorstwa na komputerze klienckim. Skrypt należy połączyć przy użyciu Kit ssh klienta w tle do przesłania skryptu do wykonania namenode.
Zobacz Getting Started Guide z Hadoop RevoScaleR , aby uzyskać więcej informacji.
