Bu makalede bir devrim R Kurumsal komut dosyası Hadoop kümede bir PuTTY ssh kullanarak küme dışındaki bir Windows istemcisinden istemci nasıl çalıştırılacağını açıklar.
-
Yükleyin ve devrim R Kurumsal 7.3 Hadoop Küme başına Devrim R Kurumsal 7.3 Hadoop Yapılandırma Kılavuzu'ndayapılandırın. 4 bölümünden doğrulama komut dosyası kullanarak küme içindeki komut dosyasının çalıştırıldığı zaman küme RRE işleminde doğrulayın.
-
Windows 7.3 için devrim R Kurumsal istemciye Windows sistemi yükleyin.
-
PuTTY ssh istemcisi istemci üzerinde Windows Sistem yükleyin. SSH Windows istemci sistemde R/Hadoop kullanıcı için oturum açma yeteneği doğrulayın.
-
SSH R/Hadoop kullanıcıdan oluşturarak passwordless yapılandırmak bir ssh istemci ve kullanıcı için Hadoop namenode anahtar. Bunun yapılması hakkında bilgi burada bulunabilir:https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#puttyveya güvenlik gereksinimlerine uyma gerektiği gibi BT grubunuzdan yardım alın. Windows istemci üzerinde özel .ppk anahtarını kaydedin. Örneğin, "C:\data\hdp.ppk".
-
PuTTY istemci oluşturabilir ve adlandırılmış PuTTY oturum açmak için oturum açma İstemcisi'nden Hadoop namenode için kaydedin. Örneğin, "RREHDP".
-
Passwordless oturum açma ve R kullanıcı el ile doğrulamak (ex: scott) PuTTY'ın plink.exe aracı, kaydedilmiş oturum ve anahtarı kullanarak:
"C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
-
Plink.exe test oturumu başarılı olursa, küme içindeki komut dosyasından çalıştırırken ssh istemci tarafından gerekli bağlantı bilgilerini içerdiğinizden için kullanılan Hadoop compute bağlam değiştirin. Örneğin:Temel hadoop compute kullanılan komut dosyası çalıştıran bir küme düğümünden diğerine içerik
myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)cluster <- rxSetComputeContext(myHadoopCluster)
Hadoop compute bağlamında komut dosyası bir Windows istemcisinden PuTTY ile çalışırken kullanılan genişletilmiş. Unutmamalıdır PuTTY, kullanırken mySshHostname değil namenode ana bilgisayar adı için başvurun. Bilgi kaydedilmiş PuTTY oturumunda olduğunu. Komut dosyasında kaydedilen oturumun adı mySshHostname ayarlamanız gerekir.
mySshUsername <- "scott"mySshHostname <- "RREHDP"myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")myHadoopCluster <- RxHadoopMR( hdfsShareDir = myHdfsShareDir, shareDir = myShareDir, sshUsername = mySshUsername, sshHostname = mySshHostname, sshClientDir = "C:\\Program Files (x86)\\PuTTY", sshSwitches = "-i c:\\data\\hdp.ppk", consoleOutput = TRUE)cluster <- rxSetComputeContext(myHadoopCluster)
SshSwitches değeri için gerektiği gibi diğer bağımsız değişkenler göndermek için kullanılabilir ssh istemcisi, varsayılan olmayan gibi ssh bağlantı.
-
Devrim R kuruluş R komut dosyası Windows istemci üzerinde sınayın. Komut dosyası PuTTY ssh istemci arka planda namenode üzerinde yürütülecek komut göndermek için kullanarak bağlanmalısınız.
Daha fazla bilgi için RevoScaleR Hadoop Başlarken Kılavuzu ' na bakın.