Làm thế nào để gửi RRE việc Hadoop từ máy khách Windows (PuTTY)

Bài viết này mô tả làm thế nào để chạy tập lệnh cách mạng R doanh nghiệp trong cụm Hadoop từ máy khách Windows ở cụm bằng cách sử dụng một PuTTY ssh khách hàng.

1. Cài đặt và cấu hình cách mạng doanh nghiệp R 7.3 trong cụm Hadoop một Cách mạng doanh nghiệp R 7.3 Hadoop cấu hình hướng dẫn. Kiểm tra hoạt động của RRE trong cụm khi đoạn chạy từ trong cụm bằng cách sử dụng tập lệnh xác thực từ phần 4.

2. Cài đặt cách mạng R doanh nghiệp cho 7.3 Windows trên máy khách hệ thống Windows.

3. Cài đặt PuTTY ssh khách trên máy khách hệ thống Windows. Xác thực ssh khả năng đăng nhập người dùng R/Hadoop từ hệ thống máy khách Windows.

4. Cấu hình passwordless ssh R/Hadoop dùng bằng cách tạo một ssh keypair trên máy khách và namenode Hadoop dành cho người dùng. Thông tin về việc này có thể được tìm thấy ở đây:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   hoặc hỗ trợ từ nhóm CNTT của bạn khi cần thiết để phù hợp với yêu cầu bảo mật. Tiết kiệm khoá riêng .ppk khách hàng của Windows. Ví dụ: "C:\data\hdp.ppk".

5. Trong máy khách PuTTY, tạo và lưu một phiên PuTTY đã đặt tên cho thông tin đăng nhập từ máy khách Hadoop namenode. Ví dụ: "RREHDP".

6. Tự kiểm tra thông tin đăng nhập passwordless và người dùng R (ví dụ: scott) của PuTTY plink.exe công cụ, phiên lưu và phím:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Nếu plink.exe kiểm tra thông tin đăng nhập thành công, thay đổi bối cảnh tính Hadoop được sử dụng khi chạy tập lệnh từ trong cụm để bao gồm ssh kết nối thông tin cần thiết của khách hàng. Ví dụ:
   
   Tính toán cơ bản hadoop bối cảnh sử dụng khi chạy tập lệnh từ một nút cụm

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Mở rộng hadoop tính ngữ cảnh sử dụng khi chạy tập lệnh từ máy khách Windows qua PuTTY. Lưu ý khi sử dụng PuTTY, mySshHostname sẽ không phải là tên máy chủ namenode. Thông tin đó là phiên PuTTY đã lưu. Trong kịch bản, mySshHostname nên được đặt tên phiên đã lưu.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Giá trị sshSwitches có thể được sử dụng để gửi đối số khác cần thiết để các ssh khách hàng, chẳng hạn như không mặc định cổng ssh.

8. Kiểm tra tập lệnh R từ cách mạng R doanh nghiệp trên máy khách Windows. Tập lệnh nên kết nối sử dụng PuTTY ssh khách hàng nền để gửi lệnh để thực hiện trên namenode.

Xem RevoScaleR Hadoop bắt đầu hướng dẫn để biết thêm thông tin.