Cara melakukan pekerjaan RRE Hadoop dari klien Windows (Cygwin)

Artikel ini menjelaskan cara menjalankan skrip revolusi R perusahaan di kluster Hadoop dari klien Windows di luar kluster menggunakan ssh di lingkungan Cygwin.

1. Menginstal dan mengkonfigurasi revolusi R Enterprise 7.3 di kluster Hadoop per Revolusi R Enterprise 7.3 Hadoop konfigurasi panduan. Verifikasi operasi RRE di kluster saat skrip dijalankan dari dalam kluster menggunakan skrip validasi dari Bagian 4.

2. Instal revolusi Enterprise R Windows 7.3 pada klien sistem Windows.

3. Menginstal lingkungan Cygwin pada klien sistem Windows, pastikan untuk menyertakan ssh komponen klien. Verifikasi ssh login kemampuan untuk pengguna R Hadoop dari sistem klien Windows.

4. Mengkonfigurasi passwordless ssh untuk pengguna R Hadoop dengan membuat ssh keypair pada klien dan namenode Hadoop bagi pengguna. Informasi tentang melakukan hal ini dapat ditemukan di sini:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   atau Dapatkan bantuan dari grup TI Anda sesuai yang diperlukan untuk memenuhi persyaratan keamanan. Simpan kunci privat .pem pada klien Windows. Misalnya, "C:\data\hdp.pem".

5. Secara manual verifikasi login passwordless untuk pengguna R (ex: scott) dari Cygwin bash sesi namenode menggunakan kunci:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. Jika pengujian manual login berhasil, mengubah konteks menghitung Hadoop yang digunakan saat menjalankan skrip tersebut dari dalam kluster untuk menyertakan ssh sambungan informasi yang diperlukan oleh klien. Misalnya:
   
   Dasar hadoop menghitung konteks yang digunakan saat menjalankan skrip dari cluster node

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   Diperpanjang hadoop menghitung konteks digunakan saat menjalankan skrip dari klien Windows melalui Cygwin ssh.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   Nilai sshSwitches dapat digunakan untuk mengirim argumen lain yang diperlukan untuk ssh klien, seperti non-asali ssh port.

7. Uji skrip R dari revolusi R perusahaan di klien Windows. Skrip akan menyambung menggunakan Cygwin ssh klien di latar belakang untuk mengirimkan skrip untuk eksekusi pada namenode.

Lihat RevoScaleR Hadoop panduan memulai untuk informasi lebih lanjut.