Denne artikkelen beskriver hvordan du kjører en revolusjon R Enterprise-skript i en klynge Hadoop fra en Windows-klient utenfor klyngen ved hjelp av en PuTTY ssh klient.

  1. Installer og Konfigurer revolusjon R Enterprise 7.3 i klyngen Hadoop per Revolusjon R Enterprise 7.3 Hadoop Configuration Guide. Kontroller at RRE i klyngen når skriptet kjøres fra klyngen ved hjelp av valideringsskriptet fra 4-delen.

  2. Installere revolusjon R Enterprise for Windows 7.3 på klienten Windows system.

  3. Installere PuTTY ssh klient på klienten Windows system. Kontroller ssh login muligheten for bruker R/Hadoop fra Windows-klient-system.

  4. Konfigurere passwordless ssh for bruker R/Hadoop ved å opprette en ssh nøkkelpar på klienten og Hadoop-namenode for brukeren. Informasjon om hvordan du gjør dette finnes her:

    https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty

    eller du kan få hjelp fra IT-gruppe som trengs for å overholde sikkerhetskrav til. Lagre private .ppk-nøkkelen i Windows-klienten. For eksempel "C:\data\hdp.ppk".

  5. I PuTTY-klienten, kan du opprette og lagre en navngitt PuTTY økt til pålogging fra klienten til Hadoop-namenode. For eksempel "RREHDP".

  6. Kontroller manuelt passwordless påloggingen og R brukeren (ex: scott) ved hjelp av PuTTY plink.exe verktøyet, den lagrede økten og nøkkelen:

    "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
  7. Hvis plink.exe test påloggingen er vellykket, kan du endre Hadoop compute kontekst som brukes når du kjører skriptet fra innenfor sektorgruppen til å inkludere ssh tilkoblingsinformasjon som trengs av klienten. For eksempel:

    Grunnleggende hadoop beregne kontekst som brukes når du kjører skriptet fra en klyngenode

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)

    Utvidet hadoop compute kontekst som brukes når du kjører skriptet fra en Windows-klient via PuTTY. Legg merke til når du bruker PuTTY, mySshHostname bør ikke referere til namenode-vertsnavnet. Denne informasjonen er i den lagrede økten i PuTTY. MySshHostname bør settes til navnet på den lagrede økten i skriptet.

    mySshUsername <- "scott"mySshHostname <- "RREHDP"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshClientDir = "C:\\Program Files (x86)\\PuTTY",
        sshSwitches = "-i c:\\data\\hdp.ppk",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    SshSwitches-verdien kan brukes til å sende andre argumenter som trengs for å det ssh klient, for eksempel en ikke-standard ssh-port.

  8. Test skriptet R fra revolusjon R virksomhet på Windows-klienten. Skriptet bør koble til ved hjelp av PuTTY ssh klient i bakgrunnen for å sende skriptet for kjøring på namenode.

Se RevoScaleR Hadoop håndboken Komme i gang for mer informasjon.

Trenger du mer hjelp?

Utvid ferdighetene dine
Utforsk opplæring
Vær først ute med de nye funksjonene
Bli med i Microsoft Insiders

Var denne informasjonen nyttig?

Hvor fornøyd er du med språkkvaliteten?
Hva påvirket opplevelsen din?

Takk for tilbakemeldingen!

×