Cara melakukan pekerjaan RRE Hadoop dari klien Windows (dempul)

Artikel ini menjelaskan cara menjalankan skrip revolusi R perusahaan di kluster Hadoop dari klien Windows di luar kluster menggunakan PuTTY ssh klien.

1. Menginstal dan mengkonfigurasi revolusi R Enterprise 7.3 di kluster Hadoop per Revolusi R Enterprise 7.3 Hadoop konfigurasi panduan. Verifikasi operasi RRE di kluster saat skrip dijalankan dari dalam kluster menggunakan skrip validasi dari Bagian 4.

2. Instal revolusi Enterprise R Windows 7.3 pada klien sistem Windows.

3. Instal PuTTY ssh klien pada klien sistem Windows. Verifikasi ssh login kemampuan untuk pengguna R Hadoop dari sistem klien Windows.

4. Mengkonfigurasi passwordless ssh untuk pengguna R Hadoop dengan membuat ssh keypair pada klien dan namenode Hadoop bagi pengguna. Informasi tentang melakukan hal ini dapat ditemukan di sini:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   atau Dapatkan bantuan dari grup TI Anda sesuai yang diperlukan untuk memenuhi persyaratan keamanan. Simpan kunci privat .ppk klien Windows. Misalnya, "C:\data\hdp.ppk".

5. Di klien PuTTY, membuat dan menyimpan sesi dempul bernama login dari klien ke Hadoop namenode. Misalnya, "RREHDP".

6. Secara manual verifikasi passwordless login dan pengguna R (ex: scott) menggunakan PuTTY plink.exe alat, sesi yang tersimpan, dan kunci:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Jika plink.exe uji login berhasil, mengubah konteks compute Hadoop yang digunakan saat menjalankan skrip dari dalam kluster untuk menyertakan ssh sambungan informasi yang diperlukan oleh klien. Misalnya:
   
   Dasar hadoop menghitung konteks yang digunakan saat menjalankan skrip dari cluster node

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Perpanjangan hadoop compute konteks digunakan saat menjalankan skrip dari klien Windows melalui PuTTY. Catatan saat menggunakan PuTTY, mySshHostname harus tidak merujuk ke nama host namenode. Informasi yang ada di sesi dempul disimpan. Dalam skrip, mySshHostname harus ditetapkan ke nama sesi disimpan.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Nilai sshSwitches dapat digunakan untuk mengirim argumen lain yang diperlukan untuk ssh klien, seperti non-asali ssh port.

8. Uji skrip R dari revolusi R perusahaan di klien Windows. Skrip akan menyambung menggunakan PuTTY ssh klien di latar belakang untuk mengirimkan skrip untuk eksekusi pada namenode.

Lihat RevoScaleR Hadoop panduan memulai untuk informasi lebih lanjut.