In dit artikel wordt beschreven hoe een script revolutie R Enterprise in een cluster Hadoop uitvoeren vanaf een Windows-client buiten het cluster met behulp van ssh in een omgeving met Cygwin.

  1. Installeer en configureer revolutie R Enterprise 7.3 in het cluster Hadoop per Omwenteling R Enterprise 7.3 Hadoop handleiding voor de configuratievan de. Controleer of de werking van RRE in het cluster als vanuit het script wordt uitgevoerd binnen het cluster met behulp van het validatiescript van punt 4.

  2. Revolutie R Enterprise voor Windows 7.3 installeren op de client Windows-systeem.

  3. De omgeving van Cygwin installeren op de client Windows systeem ervoor dat de ssh client-componenten. Controleer of ssh login mogelijkheid voor de gebruiker R/Hadoop van het clientsysteem Windows.

  4. Configureren passwordless ssh voor de gebruiker R/Hadoop door het maken van een ssh sleutelpaar op de client en op de Hadoop-namenode voor de gebruiker. Informatie hierover vindt u hier:

    http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html

    of u hulp nodig hebt van uw IT-afdeling om te voldoen aan de vereisten voor de beveiliging. De .pem persoonlijke sleutel opslaan op de Windows-client. Bijvoorbeeld "C:\data\hdp.pem".

  5. Handmatig controleren of de passwordless aanmelding voor de gebruiker R (ex: scott) uit een Cygwin bash sessie naar het namenode met behulp van de sleutel:

    $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
  6. Als de handmatige test aanmelding succesvol is, wijzig de Hadoop compute context gebruikt bij het uitvoeren van het script uit binnen het cluster moet ssh verbindingsgegevens bevatten die nodig zijn voor de client. Bijvoorbeeld:

    Basic hadoop context gebruikt bij het uitvoeren van het script van een clusterknooppunt berekenen

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)


    Uitgebreide hadoop compute context gebruikt wanneer u het script uitvoeren vanuit een Windows-client via Cygwin ssh.

    mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshSwitches = "-i c:\\data\\hdp.pem",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    De waarde sshSwitches in te dienen die nodig zijn voor andere argumenten kan worden gebruikt de ssh-client, zoals een niet-standaard ssh-poort.

  7. Test het script R uit revolutie R onderneming op de Windows-client. Het script moet verbinding maken met het Cygwin ssh-client op de achtergrond in te dienen van het script wordt uitgevoerd op de namenode.

Zie RevoScaleR Hadoop Getting Started Guide voor meer informatie.

Meer hulp nodig?

Uw vaardigheden uitbreiden
Training verkennen
Als eerste nieuwe functies krijgen
Deelnemen aan Microsoft insiders

Was deze informatie nuttig?

Hoe tevreden bent u met de taalkwaliteit?
Wat heeft uw ervaring beïnvloed?

Bedankt voor uw feedback.

×