У цій статті описується виконання сценарію Revolution R Enterprise у кластері Hadoop із Windows-клієнта за межами кластера через замазки ssh клієнта.
-
Інсталюйте та налаштуйте Revolution-R-Enterprise 7.3 у кластері Hadoop за Revolution R Enterprise 7.3 керівництво Hadoop конфігурації. Під час запуску сценарію з у кластері сценарію перевірки розділу 4, перевірте роботу РРП у кластері.
-
На клієнтському комп'ютері системи Windows, інсталюйте Revolution R Enterprise для Windows 7.3.
-
Інсталюйте на PuTTY ssh клієнт на клієнтському комп'ютері системи Windows. Перевірте, чи ssh можливість входу, R/Hadoop користувача із системи Windows-клієнта.
-
Настроювання passwordless ssh для користувачів, R/Hadoop, створюючи з ssh keypair на клієнтському комп'ютері і для користувачів, namenode Hadoop. Тут можна знайти інформацію про це:https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty або отримати допомогу від ФАХІВЦІВ групи, щоб перейти до вимогам щодо безпеки. Збережіть приватних .ppk ключ, клієнт Windows. Наприклад, "C:\data\hdp.ppk".
-
У клієнті PuTTY, створювати та зберігати імені PuTTY сесії для входу до системи клієнта Hadoop-namenode. Наприклад, "RREHDP".
-
Вручну, перевірте passwordless входу до системи та користувача R (наприклад: scott) на шпаклівки plink.exe. exe, збережений сеанс та ключ:
"C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
-
Якщо увійти plink.exe тест, змінити контексті Hadoop обчислювальних використовується під час роботи сценарію з в межах кластера, включити ssh з'єднання інформацію на стороні клієнта. Наприклад:
Основні hadoop обчислення, контекст, які використовуються під час роботи сценарію з вузла кластераmyHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
cluster <- rxSetComputeContext(myHadoopCluster)Розширений hadoop обчислень контексту, що використовується під час роботи сценарію Windows-клієнта, за допомогою шпаклівки. Зверніть увагу, під час використання PuTTY, mySshHostname, має не відносяться до namenode ім'я хоста. Ця інформація, що є в збережені сесії PuTTY. У цьому сценарії mySshHostname слід установити ім'я збережений сеанс.
mySshUsername <- "scott"mySshHostname <- "RREHDP"
myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/") myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/") myHadoopCluster <- RxHadoopMR( hdfsShareDir = myHdfsShareDir, shareDir = myShareDir, sshUsername = mySshUsername, sshHostname = mySshHostname, sshClientDir = "C:\\Program Files (x86)\\PuTTY", sshSwitches = "-i c:\\data\\hdp.ppk", consoleOutput = TRUE) cluster <- rxSetComputeContext(myHadoopCluster)Значення sshSwitches можна використовувати для надсилання в інших аргументів, щоб перейти до на ssh клієнта, наприклад, не за промовчанням ssh порт.
-
Перевірте R сценарію з Revolution R корпоративний клієнт Windows. Сценарій має підключення за допомогою до PuTTY ssh клієнт у фоновому режимі надіслати сценарій виконання на до namenode.
Переглянути RevoScaleR Hadoop посібник із початку роботи , щоб отримати додаткові відомості.