Как да се представят RRE работа Hadoop от клиент на Windows (шпакловка)

Тази статия се описва как да стартирате Revolution R Enterprise скрипт в Hadoop клъстер от Windows клиенти извън клъстера, използвайки PuTTY ssh клиент.

1. Инсталирайте и конфигурирайте Revolution R Enterprise 7.3 в Hadoop клъстер за Revolution R Enterprise 7.3 Hadoop ръководство за конфигуриране. Проверете функционирането на RRE в клъстера когато скриптът се изпълнява от в рамките на клъстера, проверка на скрипта от раздел 4.

2. Инсталирайте Revolution R предприятие за Windows 7.3 клиент система Windows.

3. Инсталирайте замазка ssh клиент на клиента система Windows. Проверете ssh вход възможност за R/Hadoop потребителя от системата Windows клиент.

4. Конфигуриране на passwordless ssh за R/Hadoop потребители чрез създаване на ssh keypair на клиента и Hadoop namenode за потребителя. Информация за това може да намерите тук:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   или да получите съдействие от отдела за ИТ, за да отговарят на изискванията за сигурност. Записване на личен .ppk ключ клиента Windows. Например "C:\data\hdp.ppk".

5. В замазка за клиента Създайте и запишете име замазка сесия за вход от клиента Hadoop namenode. Например "RREHDP".

6. Проверете ръчно passwordless потребителско име и потребител R (ex: Скот) замазка plink.exe инструмент, записани сесия и ключ:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Ако plink.exe тест влизане, променете Hadoop compute контекст използва при изпълнението на скрипта от в рамките на клъстера да включите ssh връзка информация, необходима на клиента. Например:
   
   Основни hadoop изчисляване контекст, използвани при изпълнението на скрипта от клъстерен възел

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Разширен hadoop compute контекст използва при изпълнението на скрипта от клиент на Windows чрез замазка. Имайте предвид, когато използвате замазка, mySshHostname трябва да не се отнася за namenode хост. Тази информация е записана замазка сесия. В скрипта трябва да е зададена mySshHostname името на записани сесия.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Стойността на sshSwitches може да се използва за подаване други аргументи, за да ssh клиент, като не по подразбиране ssh порт.

8. Тест R скрипт на Revolution R корпоративен клиент на Windows. Скрипта трябва да Свързвай замазка ssh клиент във фонов режим за изпращане на скрипта за изпълнение на namenode.

Вижте RevoScaleR Hadoop Начално ръководство за повече информация.