Как да се представят RRE работа Hadoop от клиент на Windows (Cygwin)

Тази статия се описва как да стартирате Revolution R Enterprise скрипт в Hadoop клъстер от Windows клиенти извън клъстера използвате ssh Cygwin среда.

  1. Инсталирайте и конфигурирайте Revolution R Enterprise 7.3 в Hadoop клъстер за Revolution R Enterprise 7.3 Hadoop ръководство за конфигуриране. Проверете функционирането на RRE в клъстера когато скриптът се изпълнява от в рамките на клъстера, проверка на скрипта от раздел 4.

  2. Инсталирайте Revolution R предприятие за Windows 7.3 клиент система Windows.

  3. Инсталиране на Cygwin среда на клиента Windows система, се уверете, че да включва ssh клиент компоненти. Проверете ssh вход възможност за R/Hadoop потребителя от системата Windows клиент.

  4. Конфигуриране на passwordless ssh за R/Hadoop потребители чрез създаване на ssh keypair на клиента и Hadoop namenode за потребителя. Информация за това може да намерите тук:

    http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html

    или да получите съдействие от отдела за ИТ, за да отговарят на изискванията за сигурност. Записване на личен .pem ключ клиента Windows. Например "C:\data\hdp.pem".

  5. Проверете ръчно passwordless вход R потребител (ex: Скот) от Cygwin Баш сесия за namenode ключ:

    $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
  6. Ако влезете ръчни тестове, промените Hadoop compute контекст използва при изпълнението на скрипта от в рамките на клъстера да включите ssh връзка информация, необходима на клиента. Например:

    Основни hadoop изчисляване контекст, използвани при изпълнението на скрипта от клъстерен възел

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)


    Разширен hadoop compute контекст използва при изпълнението на скрипта от клиент на Windows чрез Cygwin ssh.

    mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshSwitches = "-i c:\\data\\hdp.pem",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    Стойността на sshSwitches може да се използва за подаване други аргументи, за да ssh клиент, като не по подразбиране ssh порт.

  7. Тест R скрипт на Revolution R корпоративен клиент на Windows. Скрипта трябва да Свързвай Cygwin ssh клиент във фонов режим за изпращане на скрипта за изпълнение на namenode.

Вижте RevoScaleR Hadoop Начално ръководство за повече информация.

Нуждаете се от още помощ?

Разширете уменията си
Преглед на обучението
Получавайте първи новите функции
Присъединете се към Microsoft приобщени

Беше ли полезна тази информация?

Благодарим ви за обратната връзка!

Благодарим ви за вашата обратна връзка. Изглежда, че ще бъде полезно да ви свържем с един от нашите агенти по поддръжката на Office.

×