Як надати Hadoop РРП роботи з Windows-клієнта (шпаклівка)

У цій статті описується виконання сценарію Revolution R Enterprise у кластері Hadoop із Windows-клієнта за межами кластера через замазки ssh клієнта.

  1. Інсталюйте та налаштуйте Revolution-R-Enterprise 7.3 у кластері Hadoop за Revolution R Enterprise 7.3 керівництво Hadoop конфігурації. Під час запуску сценарію з у кластері сценарію перевірки розділу 4, перевірте роботу РРП у кластері.

  2. На клієнтському комп'ютері системи Windows, інсталюйте Revolution R Enterprise для Windows 7.3.

  3. Інсталюйте на PuTTY ssh клієнт на клієнтському комп'ютері системи Windows. Перевірте, чи ssh можливість входу, R/Hadoop користувача із системи Windows-клієнта.

  4. Настроювання passwordless ssh для користувачів, R/Hadoop, створюючи з ssh keypair на клієнтському комп'ютері і для користувачів, namenode Hadoop. Тут можна знайти інформацію про це:

    https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty

    або отримати допомогу від ФАХІВЦІВ групи, щоб перейти до вимогам щодо безпеки. Збережіть приватних .ppk ключ, клієнт Windows. Наприклад, "C:\data\hdp.ppk".

  5. У клієнті PuTTY, створювати та зберігати імені PuTTY сесії для входу до системи клієнта Hadoop-namenode. Наприклад, "RREHDP".

  6. Вручну, перевірте passwordless входу до системи та користувача R (наприклад: scott) на шпаклівки plink.exe. exe, збережений сеанс та ключ:

    "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
  7. Якщо увійти plink.exe тест, змінити контексті Hadoop обчислювальних використовується під час роботи сценарію з в межах кластера, включити ssh з'єднання інформацію на стороні клієнта. Наприклад:

    Основні hadoop обчислення, контекст, які використовуються під час роботи сценарію з вузла кластера

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)

    Розширений hadoop обчислень контексту, що використовується під час роботи сценарію Windows-клієнта, за допомогою шпаклівки. Зверніть увагу, під час використання PuTTY, mySshHostname, має не відносяться до namenode ім'я хоста. Ця інформація, що є в збережені сесії PuTTY. У цьому сценарії mySshHostname слід установити ім'я збережений сеанс.

    mySshUsername <- "scott"mySshHostname <- "RREHDP"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshClientDir = "C:\\Program Files (x86)\\PuTTY",
        sshSwitches = "-i c:\\data\\hdp.ppk",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    Значення sshSwitches можна використовувати для надсилання в інших аргументів, щоб перейти до на ssh клієнта, наприклад, не за промовчанням ssh порт.

  8. Перевірте R сценарію з Revolution R корпоративний клієнт Windows. Сценарій має підключення за допомогою до PuTTY ssh клієнт у фоновому режимі надіслати сценарій виконання на до namenode.

Переглянути RevoScaleR Hadoop посібник із початку роботи , щоб отримати додаткові відомості.

Потрібна додаткова довідка?

Отримуйте нові функції раніше за інших
Приєднатися до Microsoft оцінювачів

Чи були ці відомості корисні?

Дякуємо за ваш відгук!

Дякуємо, що знайшли час і надіслали нам відгук! Можливо, у нас не буде часу відповісти на кожен коментар, але докладемо максимум зусиль, щоб переглянути їх усі. Вас цікавить, як ми використовуємо ваші відгуки?

×