Как да се представят RRE работа Hadoop от клиент на Windows (Cygwin)

Тази статия се описва как да стартирате Revolution R Enterprise скрипт в Hadoop клъстер от Windows клиенти извън клъстера използвате ssh Cygwin среда.

1. Инсталирайте и конфигурирайте Revolution R Enterprise 7.3 в Hadoop клъстер за Revolution R Enterprise 7.3 Hadoop ръководство за конфигуриране. Проверете функционирането на RRE в клъстера когато скриптът се изпълнява от в рамките на клъстера, проверка на скрипта от раздел 4.

2. Инсталирайте Revolution R предприятие за Windows 7.3 клиент система Windows.

3. Инсталиране на Cygwin среда на клиента Windows система, се уверете, че да включва ssh клиент компоненти. Проверете ssh вход възможност за R/Hadoop потребителя от системата Windows клиент.

4. Конфигуриране на passwordless ssh за R/Hadoop потребители чрез създаване на ssh keypair на клиента и Hadoop namenode за потребителя. Информация за това може да намерите тук:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   или да получите съдействие от отдела за ИТ, за да отговарят на изискванията за сигурност. Записване на личен .pem ключ клиента Windows. Например "C:\data\hdp.pem".

5. Проверете ръчно passwordless вход R потребител (ex: Скот) от Cygwin Баш сесия за namenode ключ:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Ако влезете ръчни тестове, промените Hadoop compute контекст използва при изпълнението на скрипта от в рамките на клъстера да включите ssh връзка информация, необходима на клиента. Например:
   
   Основни hadoop изчисляване контекст, използвани при изпълнението на скрипта от клъстерен възел

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Разширен hadoop compute контекст използва при изпълнението на скрипта от клиент на Windows чрез Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Стойността на sshSwitches може да се използва за подаване други аргументи, за да ssh клиент, като не по подразбиране ssh порт.

7. Тест R скрипт на Revolution R корпоративен клиент на Windows. Скрипта трябва да Свързвай Cygwin ssh клиент във фонов режим за изпращане на скрипта за изпълнение на namenode.

Вижте RevoScaleR Hadoop Начално ръководство за повече информация.