Windows クライアント (PuTTY) から、Hadoop に RRE のジョブを送信する方法

この資料では、スクリプトを実行する革命 R エンタープライズ Hadoop クラスターのクラスターを使用して、PuTTY ssh の外部の Windows クライアントからクライアントの方法について説明します。

1. インストールおよび構成革命 R エンタープライズ 7.3 Hadoop クラスター革命 R エンタープライズ 7.3 Hadoop 構成ガイドです。セクション 4 の検証スクリプトを使用してクラスター内からスクリプトを実行するときは、クラスター内の RRE の操作を確認します。

2. Windows 7.3 の革命 R エンタープライズ クライアントの Windows システムにインストールします。

3. PuTTY ssh クライアント クライアントにインストールする Windows のシステムです。確認 ssh Windows クライアント システムから R と Hadoop ユーザーのログイン機能を備えています。

4. Ssh を設定する passwordless R/Hadoop ユーザーを作成することにより、ssh クライアント、およびユーザーの Hadoop namenode のキー ペアです。この方法の詳細はこちらにあります。
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   またはセキュリティ要件に準拠する必要に応じて、IT グループから支援を取得します。Windows クライアント上には、.ppk のプライベート キーを保存します。たとえば、"C:\data\hdp.ppk"です。

5. パテ、クライアントを作成し、Hadoop namenode にクライアントからのログインの名前付きの PuTTY セッションを保存します。たとえば、"RREHDP"です。

6. Passwordless のログインと R のユーザーを手動で確認 (ex: スコット) PuTTY の plink.exe ツール、保存されているセッション、およびキーを使用します。
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. Plink.exe テスト ログインが成功した場合は、Hadoop 計算に使用されるコンテキストから、クラスター内のスクリプトを実行すると、ssh クライアントが必要な接続情報を含めるを変更します。次に例を示します。
   
   基本的な hadoop クラスター ノードから、スクリプトを実行するときに使用されるコンテキストを計算します。

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   Hadoop 計算のコンテキストが PuTTY 経由での Windows クライアントからスクリプトを実行するときに使用を拡張します。注 PuTTY を使用する場合 mySshHostname にする必要がありますいないnamenode のホスト名を参照してください。情報が保存した PuTTY セッションのことです。スクリプトでは、保存されているセッションの名前を mySshHostname を設定してください。
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   必要に応じてその他の引数を送信する sshSwitches の値を使用することがあります、ssh など、既定以外のクライアントは、ssh ポートです。

8. 革命 R エンタープライズから Windows クライアント上の R スクリプトをテストします。スクリプトは、クライアントを使用して、PuTTY ssh バック グラウンドでの namenode 上で実行するスクリプトを送信する接続する必要があります。

詳細についてはRevoScaleR Hadoop 『 入門ガイド 』を参照してください。