Salt la conținutul principal
Asistență
Conectare

Cum să prezinte RRE lucrare Hadoop de la un client Windows (Cygwin)

Acest articol descrie cum se execută un script Revolution R Enterprise într-un cluster Hadoop de la un client Windows în afara clusterul folosind ssh într-un mediu Cygwin.

  1. Instalare și configurare Revolution R Enterprise 7.3 în clusterul Hadoop per Revolution R Enterprise 7.3 Hadoop Ghidul de configurare. Verificați funcționarea RRE în clusterul când scriptul se execută din în clusterul utilizând scriptul de validare din secțiunea 4.

  2. Instalați Revolution R Enterprise pentru Windows 7.3 pe clientul sistem Windows.

  3. Instalați mediul Cygwin pe client Windows sistem fiind sigur pentru a include ssh componentele clientului. Verificați ssh capacitatea de conectare pentru R/Hadoop utilizator din sistemul client Windows.

  4. Configurați passwordless ssh pentru utilizator R/Hadoop prin crearea unui ssh keypair pe client și pe namenode Hadoop pentru utilizator. Informații despre face acest lucru poate fi găsit aici:

    http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html

    sau obţineţi asistenţă de la grup IT, după cum este necesar să respecte cerințele de securitate. Salvați cheia privată .pem pe Windows client. De exemplu, "C:\data\hdp.pem".

  5. Verificați manual conectare passwordless pentru utilizator R (ex: scott) de la un Cygwin bash sesiune la namenode utilizând cheia:

    $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
  6. Dacă de testare manuală conectarea reușește, modificați contextul de calcul Hadoop utilizat când se execută scriptul din în clusterul includă ssh conexiune informațiile necesare de client. De exemplu:

    Bază hadoop calcula context utilizat când se execută scriptul de la un nod de cluster

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)


    Context de calcul hadoop utilizat când se execută scriptul de la un client Windows prin Cygwin ssh de extins.

    mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshSwitches = "-i c:\\data\\hdp.pem",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    Valoarea sshSwitches pot fi utilizate pentru a remite alte argumente, după cum este necesar să ssh client, cum ar fi un implicit ssh port.

  7. Testați R scriptul din Revolution R Enterprise pe Windows client. Script ar trebui să vă conectați folosind Cygwin ssh client în fundal pentru a remite scriptul pentru executarea pe namenode.

Consultați RevoScaleR Hadoop Noţiuni de bază Ghidul pentru mai multe informații.

Aveți nevoie de ajutor suplimentar?

Extindeți-vă competențele
Explorați instruirea
Fiți primul care obține noile caracteristici
Alăturați-vă la Microsoft Insider

V-a fost de ajutor această informație?

Cât de mulțumit sunteți de calitatea traducerii?

Ce v-a afectat experiența?

Aveți feedback suplimentar? (Opțional)

Vă mulțumim pentru feedback!

×