この資料では、Hadoop クラスターにクラスターの外部の ssh を使用して、Cygwin 環境での Windows クライアントから革命 R エンタープライズ スクリプトを実行する方法について説明します。
-
インストールおよび構成革命 R エンタープライズ 7.3 Hadoop クラスター革命 R エンタープライズ 7.3 Hadoop 構成ガイドです。セクション 4 の検証スクリプトを使用してクラスター内からスクリプトを実行するときは、クラスター内の RRE の操作を確認します。
-
Windows 7.3 の革命 R エンタープライズ クライアントの Windows システムにインストールします。
-
Cygwin 環境をインストール クライアントを含めることを確認している Windows システム上の ssh クライアント コンポーネントです。確認 ssh Windows クライアント システムから R と Hadoop ユーザーのログイン機能を備えています。
-
Ssh を設定する passwordless R/Hadoop ユーザーを作成することにより、ssh クライアント、およびユーザーの Hadoop namenode のキー ペアです。この方法の詳細はこちらにあります。http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.htmlまたはセキュリティ要件に準拠する必要に応じて、IT グループから支援を取得します。.Pem の秘密キーを Windows クライアント上で保存します。たとえば、"C:\data\hdp.pem"です。
-
Passwordless R ユーザーのログインを手動で確認する (ex: スコット)、Cygwin の bash のセッション キーを使用して namenode をします。
$ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
-
手動テスト ログインが成功した場合は、Hadoop 計算に使用されるコンテキストから、クラスター内のスクリプトを実行すると、ssh クライアントが必要な接続情報を含めるを変更します。次に例を示します。基本的な hadoop クラスター ノードから、スクリプトを実行するときに使用されるコンテキストを計算します。
myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)cluster <- rxSetComputeContext(myHadoopCluster)
Hadoop 計算のコンテキストを実行するとき、スクリプト、Windows クライアントから Cygwin を使用して ssh を使用を拡張します。
mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")myHadoopCluster <- RxHadoopMR( hdfsShareDir = myHdfsShareDir, shareDir = myShareDir, sshUsername = mySshUsername, sshHostname = mySshHostname, sshSwitches = "-i c:\\data\\hdp.pem", consoleOutput = TRUE)cluster <- rxSetComputeContext(myHadoopCluster)
必要に応じてその他の引数を送信する sshSwitches の値を使用することがあります、ssh など、既定以外のクライアントは、ssh ポートです。
-
革命 R エンタープライズから Windows クライアント上の R スクリプトをテストします。スクリプトは、クライアントを使用して、Cygwin ssh バック グラウンドでの namenode 上で実行するスクリプトを送信する接続する必要があります。
詳細についてはRevoScaleR Hadoop 『 入門ガイド 』を参照してください。
