Как отправить задание RRE Hadoop с клиента Windows (известковое тесто)

В данной статье описывается, как запустить сценарий революции R предприятия в кластере Hadoop с клиента Windows за пределами кластера с помощью известковое тесто ssh клиента.

1. Установка и настройка корпоративного R революции 7.3 в кластер Hadoop на Революции R предприятия 7.3 Hadoop руководство по выбору конфигурации. Проверьте работу RRE кластера при выполнении сценария из кластера с помощью сценария проверки из раздела 4.

2. Установка корпоративного революции R для Windows 7.3 на клиенте системы Windows.

3. Установка известковое тесто ssh клиента на клиентском компьютере системы Windows. Проверьте ssh возможность входа для пользователя R/Hadoop от клиентской системы Windows.

4. Настроить passwordless ssh для пользователя R/Hadoop, создав ssh ключей на стороне клиента и на namenode Hadoop для пользователя. Сведения об этом можно найти здесь:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   или получать помощь ИТ-группы, необходимые для обеспечения соответствия требованиям безопасности. Сохраните .ppk закрытый ключ на клиенте Windows. Например, «C:\data\hdp.ppk».

5. В клиенте известковое тесто создайте и сохраните сеанс с именем известковое тесто для входа от клиента к Hadoop namenode. Например, «RREHDP».

6. Вручную проверить passwordless имени входа и пользователя R (ex: Скотт) с помощью средства plink.exe известковое тесто, сохраненного сеанса и ключ:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. При успешном выполнении тестового имени входа plink.exe измените контекст вычисления Hadoop используется при запуске сценария из кластера для включения ssh сведения о соединении, необходимые для клиента. Например:
   
   Основные hadoop вычислить контекст, используемый при запуске сценария с узла кластера

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Расширенный контекст вычисления hadoop, используемый при запуске сценария с клиента Windows через известковое тесто. Следует иметь в виду при использовании известковое тесто, следует mySshHostname не ссылаться на имя узла namenode. Эта информация находится в известковое тесто сохраненного сеанса. В сценарии mySshHostname должно быть присвоено имя сохраненного сеанса.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Значение sshSwitches может быть использовано для отправки других аргументов для ssh клиента, например нестандартного порта ssh.

8. Тестовый сценарий R R корпоративную революции на клиенте Windows. Сценарий должен подключиться с помощью известковое тесто ssh клиент в фоновом режиме для отправки сценария для выполнения namenode.

RevoScaleR Hadoop краткое руководство пользователя для получения дополнительных сведений см.