Jak przesłać zadanie RRE do Hadoop z klienta systemu Windows (Kit)

W tym artykule opisano sposób uruchomić skrypt Enterprise R Rewolucja w klastrze Hadoop z klientem systemu Windows znajdującego się poza klastrem przy użyciu Kit ssh klienta.

1. Zainstaluj i skonfiguruj Rewolucji R Enterprise 7.3 getindata za Rewolucji R Enterprise 7.3 Hadoop Configuration Guide. Sprawdzenie działania RRE w klastrze, gdy skrypt jest uruchamiany z wewnątrz klastra przy użyciu skryptu sprawdzania poprawności w sekcji 4.

2. Rewolucja R Enterprise dla Windows 7.3 należy zainstalować na komputerze klienckim systemu Windows.

3. Zainstaluj Kit ssh klienta na komputerze klienckim systemu Windows. Sprawdź ssh możliwości logowania dla użytkownika R/Hadoop z systemu klienta.

4. Konfigurowanie haseł ssh dla użytkownika R/Hadoop przez utworzenie ssh kluczy na komputerze klienckim i na namenode Hadoop dla użytkownika. Informacje na ten można znaleźć tutaj:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   lub uzyskaj pomoc z grupy IT, ile potrzeba, aby spełniać wymagania w zakresie zabezpieczeń. Zapisz klucz prywatny .ppk na komputerze klienckim. Na przykład, "C:\data\hdp.ppk".

5. W kliencie Kit Utwórz i Zapisz nazwany Kit sesji logowania z klienta do Hadoop namenode. Na przykład, "RREHDP".

6. Ręcznie Sprawdź haseł logowania i użytkownika R (ex: scott) przy użyciu narzędzia plink.exe Kit, zapisanej sesji i klucz:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Po pomyślnym zalogowaniu test plink.exe się, zmodyfikować kontekstu obliczeń Hadoop użyte podczas wykonywania skryptu z w klastrze do umieszczenia ssh informacji o połączeniu niezbędnych przez klienta. Na przykład:
   
   Podstawowe hadoop obliczyć kontekstu używane podczas wykonywania skryptu z węzła klastra

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Rozszerzone hadoop compute kontekstu używane podczas wykonywania skryptu z klienta Windows, via Kit. Uwaga Kiedy używany jest Kit, należy mySshHostname nie można znaleźć nazwy hosta namenode. Informacje te są w zapisanej sesji Kit. W skrypcie mySshHostname powinna być równa nazwę zapisanego sesji.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Wartość sshSwitches może służyć do przedstawienia innych argumentów, ile potrzeba, aby ssh klienta, takiego jak inny niż domyślny ssh port.

8. Przetestować skrypt R od Rewolucji R przedsiębiorstwa na komputerze klienckim. Skrypt należy połączyć przy użyciu Kit ssh klienta w tle do przesłania skryptu do wykonania namenode.

Zobacz Getting Started Guide z Hadoop RevoScaleR , aby uzyskać więcej informacji.