(Cygwin) Windows 클라이언트에서 Hadoop을 RRE 작업을 제출 하는 방법

Windows 클라이언트를 사용 하 여 ssh Cygwin 환경에서 클러스터 외부에서 Hadoop 클러스터의 R 기업 혁명 스크립트를 실행 하는 방법을 설명 합니다.

1. 설치 및 회전 R 기업 7.3 혁명 R 기업 7.3 Hadoop 구성 가이드당 Hadoop 클러스터의 구성. 4 절에서 유효성 검사 스크립트를 사용 하 여 클러스터 내에서 스크립트를 실행 하면 RRE 클러스터의 작동을 확인 합니다.

2. R 기업에 대 한 혁명 7.3 Windows 클라이언트 Windows 시스템에 설치 합니다.

3. Cygwin 환경에서 클라이언트를 포함 하는 Windows 시스템에 설치 된 ssh 클라이언트 구성 요소입니다. 확인 ssh 클라이언트 Windows 시스템에서 R/Hadoop 사용자 로그인 기능.

4. 구성 passwordless ssh R/Hadoop 사용자를 만들어 프로그램 ssh 클라이언트와 사용자를 위한 Hadoop namenode에서 키 쌍입니다. 이 작업에 대 한 정보는 여기에서 찾을 수 있습니다.
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   또는 보안 요구 사항을 준수 하는 데 필요한 IT 그룹 으로부터 지원 받기. Windows 클라이언트에서.pem 개인 키를 저장 합니다. 예를 들어, "C:\data\hdp.pem".

5. Passwordless R 사용자 로그인을 수동으로 확인 (ex: scott)는 Cygwin에서 세션 키를 사용 하 여 namenode 이용한 적.
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. 수동 테스트 로그인에 성공 하면 계산 컨텍스트 Hadoop 클러스터 내에서 스크립트를 실행할 때 사용 하는 ssh 클라이언트에 필요한 연결 정보를 수정 합니다. 예를 들어:
   
   기본 hadoop 클러스터 노드에서 스크립트를 실행할 때 사용 되는 컨텍스트를 계산 합니다.

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   스크립트를 실행할 때 Windows 클라이언트에서 Cygwin을 통해 ssh를 사용 하는 hadoop 계산 컨텍스트를 확장 합니다.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   필요에 따라 다른 인수를 전송 하는 sshSwitches 값을 사용할 수 있습니다에서 ssh 같은 기본이 아닌 클라이언트 ssh 포트.

7. Windows 클라이언트에서 혁명 R 기업에서 R 스크립트를 테스트 합니다. 스크립트는 클라이언트를 사용 하 여 Cygwin ssh 배경에 namenode에서 실행 하기 위해 스크립트를 제출 하려면 연결 해야 합니다.

자세한 내용은 RevoScaleR Hadoop 사용 설명서 를 참조 하십시오.