Как отправить задание RRE Hadoop с клиента Windows (Cygwin)

В данной статье описывается сценарий корпоративного R революции в кластере Hadoop с клиента Windows за пределами кластера с помощью ssh в среде Cygwin.

1. Установка и настройка корпоративного R революции 7.3 в кластер Hadoop на Революции R предприятия 7.3 Hadoop руководство по выбору конфигурации. Проверьте работу RRE кластера при выполнении сценария из кластера с помощью сценария проверки из раздела 4.

2. Установка корпоративного революции R для Windows 7.3 на клиенте системы Windows.

3. Установка среды Cygwin на клиенте системы Windows, убедитесь включить ssh клиентских компонентов. Проверьте ssh возможность входа для пользователя R/Hadoop от клиентской системы Windows.

4. Настроить passwordless ssh для пользователя R/Hadoop, создав ssh ключей на стороне клиента и на namenode Hadoop для пользователя. Сведения об этом можно найти здесь:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   или получать помощь ИТ-группы, необходимые для обеспечения соответствия требованиям безопасности. Сохраните .pem закрытый ключ на клиенте Windows. Например, «C:\data\hdp.pem».

5. Вручную проверить passwordless имя входа для пользователя R (ex: Скотт) из Cygwin bash namenode с помощью ключа сеанса:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Если вход ручной тест выполнен успешно, измените контекст вычисления Hadoop используется при запуске сценария из кластера для включения ssh сведения о соединении, необходимые для клиента. Например:
   
   Основные hadoop вычислить контекст, используемый при запуске сценария с узла кластера

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Расширенный контекст вычисления hadoop, используемый при запуске сценария с клиента Windows через Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Значение sshSwitches может быть использовано для отправки других аргументов для ssh клиента, например нестандартного порта ssh.

7. Тестовый сценарий R R корпоративную революции на клиенте Windows. Сценарий должен подключиться с помощью Cygwin ssh клиент в фоновом режиме для отправки сценария для выполнения namenode.

RevoScaleR Hadoop краткое руководство пользователя для получения дополнительных сведений см.