Làm thế nào để gửi RRE việc Hadoop từ máy khách Windows (Cygwin)

Bài viết này mô tả làm thế nào để chạy tập lệnh cách mạng R doanh nghiệp trong cụm Hadoop từ máy khách Windows ở cụm bằng cách sử dụng ssh trong môi trường Cygwin.

1. Cài đặt và cấu hình cách mạng doanh nghiệp R 7.3 trong cụm Hadoop một Cách mạng doanh nghiệp R 7.3 Hadoop cấu hình hướng dẫn. Kiểm tra hoạt động của RRE trong cụm khi đoạn chạy từ trong cụm bằng cách sử dụng tập lệnh xác thực từ phần 4.

2. Cài đặt cách mạng R doanh nghiệp cho 7.3 Windows trên máy khách hệ thống Windows.

3. Cài đặt môi trường Cygwin trên máy khách Windows hệ chắc chắn bao gồm các ssh cấu phần máy khách. Xác thực ssh khả năng đăng nhập người dùng R/Hadoop từ hệ thống máy khách Windows.

4. Cấu hình passwordless ssh R/Hadoop dùng bằng cách tạo một ssh keypair trên máy khách và namenode Hadoop dành cho người dùng. Thông tin về việc này có thể được tìm thấy ở đây:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   hoặc hỗ trợ từ nhóm CNTT của bạn khi cần thiết để phù hợp với yêu cầu bảo mật. Tiết kiệm khoá riêng .pem khách hàng của Windows. Ví dụ: "C:\data\hdp.pem".

5. Tự kiểm tra thông tin đăng nhập passwordless dành cho người dùng R (ví dụ: scott) từ một Cygwin bash phiên namenode bằng cách sử dụng phím:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Nếu hướng dẫn kiểm tra thông tin đăng nhập thành công, thay đổi bối cảnh tính Hadoop được sử dụng khi chạy tập lệnh từ trong cụm để bao gồm ssh kết nối thông tin cần thiết của khách hàng. Ví dụ:
   
   Tính toán cơ bản hadoop bối cảnh sử dụng khi chạy tập lệnh từ một nút cụm

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Mở rộng hadoop tính ngữ cảnh sử dụng khi chạy tập lệnh từ máy khách Windows qua Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Giá trị sshSwitches có thể được sử dụng để gửi đối số khác cần thiết để các ssh khách hàng, chẳng hạn như không mặc định cổng ssh.

7. Kiểm tra tập lệnh R từ cách mạng R doanh nghiệp trên máy khách Windows. Tập lệnh sẽ kết nối bằng Cygwin ssh khách hàng nền để gửi lệnh để thực hiện trên namenode.

Xem RevoScaleR Hadoop bắt đầu hướng dẫn để biết thêm thông tin.