Як надати Hadoop РРП роботи з Windows-клієнта (шпаклівка)

У цій статті описується виконання сценарію Revolution R Enterprise у кластері Hadoop із Windows-клієнта за межами кластера через замазки ssh клієнта.

1. Інсталюйте та налаштуйте Revolution-R-Enterprise 7.3 у кластері Hadoop за Revolution R Enterprise 7.3 керівництво Hadoop конфігурації. Під час запуску сценарію з у кластері сценарію перевірки розділу 4, перевірте роботу РРП у кластері.

2. На клієнтському комп'ютері системи Windows, інсталюйте Revolution R Enterprise для Windows 7.3.

3. Інсталюйте на PuTTY ssh клієнт на клієнтському комп'ютері системи Windows. Перевірте, чи ssh можливість входу, R/Hadoop користувача із системи Windows-клієнта.

4. Настроювання passwordless ssh для користувачів, R/Hadoop, створюючи з ssh keypair на клієнтському комп'ютері і для користувачів, namenode Hadoop. Тут можна знайти інформацію про це:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   або отримати допомогу від ФАХІВЦІВ групи, щоб перейти до вимогам щодо безпеки. Збережіть приватних .ppk ключ, клієнт Windows. Наприклад, "C:\data\hdp.ppk".

5. У клієнті PuTTY, створювати та зберігати імені PuTTY сесії для входу до системи клієнта Hadoop-namenode. Наприклад, "RREHDP".

6. Вручну, перевірте passwordless входу до системи та користувача R (наприклад: scott) на шпаклівки plink.exe. exe, збережений сеанс та ключ:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Якщо увійти plink.exe тест, змінити контексті Hadoop обчислювальних використовується під час роботи сценарію з в межах кластера, включити ssh з'єднання інформацію на стороні клієнта. Наприклад:
   
   Основні hadoop обчислення, контекст, які використовуються під час роботи сценарію з вузла кластера

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Розширений hadoop обчислень контексту, що використовується під час роботи сценарію Windows-клієнта, за допомогою шпаклівки. Зверніть увагу, під час використання PuTTY, mySshHostname, має не відносяться до namenode ім'я хоста. Ця інформація, що є в збережені сесії PuTTY. У цьому сценарії mySshHostname слід установити ім'я збережений сеанс.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Значення sshSwitches можна використовувати для надсилання в інших аргументів, щоб перейти до на ssh клієнта, наприклад, не за промовчанням ssh порт.

8. Перевірте R сценарію з Revolution R корпоративний клієнт Windows. Сценарій має підключення за допомогою до PuTTY ssh клієнт у фоновому режимі надіслати сценарій виконання на до namenode.

Переглянути RevoScaleR Hadoop посібник із початку роботи , щоб отримати додаткові відомості.