Як надати Hadoop РРП роботи з Windows-клієнта (Cygwin)

У цій статті описується виконання сценарію Revolution R Enterprise у кластері Hadoop, із Windows-клієнта за межами через ssh в середовищі Cygwin кластера.

1. Інсталюйте та налаштуйте Revolution-R-Enterprise 7.3 у кластері Hadoop за Revolution R Enterprise 7.3 керівництво Hadoop конфігурації. Під час запуску сценарію з у кластері сценарію перевірки розділу 4, перевірте роботу РРП у кластері.

2. На клієнтському комп'ютері системи Windows, інсталюйте Revolution R Enterprise для Windows 7.3.

3. Інсталюйте середовище Cygwin на клієнтському комп'ютері системи Windows на те, що на ssh клієнтські компоненти. Перевірте, чи ssh можливість входу, R/Hadoop користувача із системи Windows-клієнта.

4. Настроювання passwordless ssh для користувачів, R/Hadoop, створюючи з ssh keypair на клієнтському комп'ютері і для користувачів, namenode Hadoop. Тут можна знайти інформацію про це:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   або отримати допомогу від ФАХІВЦІВ групи, щоб перейти до вимогам щодо безпеки. Збережіть приватних .pem ключ, клієнт Windows. Наприклад, "C:\data\hdp.pem".

5. Вручну, перевірте passwordless входу до системи для користувача, R (наприклад: scott) з Cygwin bash, сеанс, namenode, за допомогою ключа:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Якщо увійти вручну тест, змінювати, контексті Hadoop обчислень використовуються під час роботи сценарію з в межах кластера, включити ssh з'єднання інформацію на стороні клієнта. Наприклад:
   
   Основні hadoop обчислення, контекст, які використовуються під час роботи сценарію з вузла кластера

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Розширений hadoop обчислень контексту, що використовується під час запуску сценарію з клієнт Windows за допомогою Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Значення sshSwitches можна використовувати для надсилання в інших аргументів, щоб перейти до на ssh клієнта, наприклад, не за промовчанням ssh порт.

7. Перевірте R сценарію з Revolution R корпоративний клієнт Windows. Сценарій має підключення за допомогою до Cygwin ssh клієнт у фоновому режимі надіслати сценарій виконання на до namenode.

Переглянути RevoScaleR Hadoop посібник із початку роботи , щоб отримати додаткові відомості.