(PuTTY) Windows 클라이언트에서 Hadoop을 RRE 작업을 제출 하는 방법

스크립트를 실행 하려면 R 기업 혁명 Hadoop 클러스터에서 Windows 클라이언트를 사용 하는 PuTTY ssh 클러스터 외부에서 클라이언트는 방법을 설명 합니다.

1. 설치 및 회전 R 기업 7.3 혁명 R 기업 7.3 Hadoop 구성 가이드당 Hadoop 클러스터의 구성. 4 절에서 유효성 검사 스크립트를 사용 하 여 클러스터 내에서 스크립트를 실행 하면 RRE 클러스터의 작동을 확인 합니다.

2. R 기업에 대 한 혁명 7.3 Windows 클라이언트 Windows 시스템에 설치 합니다.

3. 클라이언트를 설치 하면 PuTTY ssh 클라이언트 Windows 시스템. 확인 ssh 클라이언트 Windows 시스템에서 R/Hadoop 사용자 로그인 기능.

4. 구성 passwordless ssh R/Hadoop 사용자를 만들어 프로그램 ssh 클라이언트와 사용자를 위한 Hadoop namenode에서 키 쌍입니다. 이 작업에 대 한 정보는 여기에서 찾을 수 있습니다.
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   또는 보안 요구 사항을 준수 하는 데 필요한 IT 그룹 으로부터 지원 받기. Windows 클라이언트에서.ppk 개인 키를 저장 합니다. 예를 들어, "C:\data\hdp.ppk".

5. PuTTY 클라이언트에 만들고 Hadoop namenode 클라이언트에서 로그인에 대 한 명명 된 PuTTY 세션을 저장 합니다. 예를 들어, "RREHDP".

6. 수동으로 로그인 passwordless 및 R 사용자 확인 (ex: scott) PuTTY의 plink.exe 도구, 저장 된 세션 키를 사용 하 여:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Plink.exe 테스트 로그인에 성공 하면 계산 컨텍스트 Hadoop 클러스터 내에서 스크립트를 실행할 때 사용 하는 ssh 클라이언트에 필요한 연결 정보를 수정 합니다. 예를 들어:
   
   기본 hadoop 클러스터 노드에서 스크립트를 실행할 때 사용 되는 컨텍스트를 계산 합니다.

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   PuTTY를 통해 Windows 클라이언트에서 스크립트를 실행할 때 사용 되는 hadoop 계산 컨텍스트를 확장 합니다. MySshHostname은 PuTTY를 사용할 때 참고 하지 namenode 호스트를 참조 하십시오. PuTTY 세션 저장된 정보가입니다. 스크립트에서 mySshHostname 저장 된 세션의 이름으로 설정 되어야 합니다.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   필요에 따라 다른 인수를 전송 하는 sshSwitches 값을 사용할 수 있습니다에서 ssh 같은 기본이 아닌 클라이언트 ssh 포트.

8. Windows 클라이언트에서 혁명 R 기업에서 R 스크립트를 테스트 합니다. 이 스크립트는 클라이언트를 사용 하는 PuTTY ssh 배경에 namenode에서 실행 하기 위해 스크립트를 제출 하려면 연결 해야 합니다.

자세한 내용은 RevoScaleR Hadoop 사용 설명서 를 참조 하십시오.