Jak przesłać zadanie RRE do Hadoop z klienta systemu Windows (Cygwin)

W tym artykule opisano sposób uruchomić skrypt Enterprise R Rewolucja w klastrze Hadoop z klientem systemu Windows znajdującego się poza klastrem za pomocą ssh w środowisku Cygwin.

1. Zainstaluj i skonfiguruj Rewolucji R Enterprise 7.3 getindata za Rewolucji R Enterprise 7.3 Hadoop Configuration Guide. Sprawdzenie działania RRE w klastrze, gdy skrypt jest uruchamiany z wewnątrz klastra przy użyciu skryptu sprawdzania poprawności w sekcji 4.

2. Rewolucja R Enterprise dla Windows 7.3 należy zainstalować na komputerze klienckim systemu Windows.

3. Instalowanie środowiska Cygwin na kliencie systemu Windows, upewniając się uwzględnić ssh składniki klienta. Sprawdź ssh możliwości logowania dla użytkownika R/Hadoop z systemu klienta.

4. Konfigurowanie haseł ssh dla użytkownika R/Hadoop przez utworzenie ssh kluczy na komputerze klienckim i na namenode Hadoop dla użytkownika. Informacje na ten można znaleźć tutaj:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   lub uzyskaj pomoc z grupy IT, ile potrzeba, aby spełniać wymagania w zakresie zabezpieczeń. Zapisz klucz prywatny PEM na komputerze klienckim. Na przykład, "C:\data\hdp.pem".

5. Ręcznie Sprawdź haseł logowania dla użytkownika R (ex: scott) z Cygwin urodzinową sesji do namenode za pomocą klucza:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Po pomyślnym zalogowaniu ręcznego testu się, zmodyfikować kontekstu obliczeń Hadoop użyte podczas wykonywania skryptu z w klastrze do umieszczenia ssh informacji o połączeniu niezbędnych przez klienta. Na przykład:
   
   Podstawowe hadoop obliczyć kontekstu używane podczas wykonywania skryptu z węzła klastra

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Rozszerzone hadoop compute kontekstu używane podczas wykonywania skryptu z klientem systemu Windows za pomocą Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Wartość sshSwitches może służyć do przedstawienia innych argumentów, ile potrzeba, aby ssh klienta, takiego jak inny niż domyślny ssh port.

7. Przetestować skrypt R od Rewolucji R przedsiębiorstwa na komputerze klienckim. Skrypt należy łączyć się przy użyciu Cygwin ssh klienta w tle do przesłania skryptu do wykonania namenode.

Zobacz Getting Started Guide z Hadoop RevoScaleR , aby uzyskać więcej informacji.