Тази статия се описва как да стартирате Revolution R Enterprise скрипт в Hadoop клъстер от Windows клиенти извън клъстера използвате ssh Cygwin среда.
-
Инсталирайте и конфигурирайте Revolution R Enterprise 7.3 в Hadoop клъстер за Revolution R Enterprise 7.3 Hadoop ръководство за конфигуриране. Проверете функционирането на RRE в клъстера когато скриптът се изпълнява от в рамките на клъстера, проверка на скрипта от раздел 4.
-
Инсталирайте Revolution R предприятие за Windows 7.3 клиент система Windows.
-
Инсталиране на Cygwin среда на клиента Windows система, се уверете, че да включва ssh клиент компоненти. Проверете ssh вход възможност за R/Hadoop потребителя от системата Windows клиент.
-
Конфигуриране на passwordless ssh за R/Hadoop потребители чрез създаване на ssh keypair на клиента и Hadoop namenode за потребителя. Информация за това може да намерите тук:http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html или да получите съдействие от отдела за ИТ, за да отговарят на изискванията за сигурност. Записване на личен .pem ключ клиента Windows. Например "C:\data\hdp.pem".
-
Проверете ръчно passwordless вход R потребител (ex: Скот) от Cygwin Баш сесия за namenode ключ:
$ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
-
Ако влезете ръчни тестове, промените Hadoop compute контекст използва при изпълнението на скрипта от в рамките на клъстера да включите ssh връзка информация, необходима на клиента. Например:
Основни hadoop изчисляване контекст, използвани при изпълнението на скрипта от клъстерен възелmyHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
cluster <- rxSetComputeContext(myHadoopCluster)mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/") myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/") myHadoopCluster <- RxHadoopMR( hdfsShareDir = myHdfsShareDir, shareDir = myShareDir, sshUsername = mySshUsername, sshHostname = mySshHostname, sshSwitches = "-i c:\\data\\hdp.pem", consoleOutput = TRUE) cluster <- rxSetComputeContext(myHadoopCluster)Стойността на sshSwitches може да се използва за подаване други аргументи, за да ssh клиент, като не по подразбиране ssh порт.
-
Тест R скрипт на Revolution R корпоративен клиент на Windows. Скрипта трябва да Свързвай Cygwin ssh клиент във фонов режим за изпращане на скрипта за изпълнение на namenode.
Вижте RevoScaleR Hadoop Начално ръководство за повече информация.