Pierakstīties, izmantojot Microsoft
Pierakstieties vai izveidojiet kontu.
Sveicināti!
Atlasiet citu kontu.
Jums ir vairāki konti
Izvēlieties kontu, ar kuru vēlaties pierakstīties.

Šajā rakstā ir aprakstīts, kā palaist skriptu Revolution R uzņēmuma Hadoop klastera Windows klientā ārpus klastera izmantojot ssh Cygwin vidē.

  1. Instalējiet un konfigurējiet Revolution R uzņēmuma 7.3 Hadoop klastera katrā Revolution R uzņēmuma 7.3 Hadoop konfigurācijas rokasgrāmata. Pārbaudiet, vai RRE klastera darbību, palaižot skriptu no vienas klastera izmantojot validācijas skriptu no sadaļas 4.

  2. Klienta sistēmas Windows instalējiet Revolution R uzņēmuma sistēmai Windows 7.3.

  3. Cygwin vides instalēt klienta noteikti ietver Windows sistēmas ssh klienta komponentus. Pārbaudiet, vai ssh R/Hadoop lietotājam no klienta sistēmas Windows pieteikšanās iespēju.

  4. Konfigurējiet passwordless ssh R/Hadoop lietotājiem, izveidojot ssh keypair klientam un Hadoop namenode lietotājam. Informāciju par to izdarīt, ir atrodams šeit:

    http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html

    vai arī saņemt palīdzību no tā grupas pēc vajadzības drošības prasībām. Saglabāt Windows klienta .pem privāto atslēgu. Piemēram, "C:\data\hdp.pem".

  5. Manuāli pārbaudīt passwordless R lietotāja pieteikšanās (ex: scott) no Cygwin bash sesijas atslēgas lietošana namenode:

    $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>
  6. Manuālas pārbaudes pieteikšanās ir veiksmīga, modificēt iekļaujot ssh savienojumu informāciju klients izmanto palaižot skriptu no vienas klastera Hadoop aprēķināt kontekstā. Piemērs:

    Pamata hadoop aprēķinu kontekstā darbībai skriptu klastera mezgls

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)


    Paplašinātā darbībai skriptu Windows klientā, izmantojot Cygwin ssh hadoop aprēķināt kontekstā.

    mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshSwitches = "-i c:\\data\\hdp.pem",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    SshSwitches vērtības var izmantot, lai iesniegtu citus argumentus, cik nepieciešams, lai ssh klientu, piemēram, pēc noklusējuma ssh portu.

  7. Pārbaudiet R skriptu no Revolution R Enterprise Windows klientu. Skripta būtu veidot savienojumu, izmantojot Cygwin ssh klients fonā iesniegt skriptu izpildei, namenode.

Papildinformāciju skatiet sadaļā RevoScaleR Hadoop darba sākšanas rokasgrāmatā .

Vai nepieciešama papildu palīdzība?

Paplašiniet savas prasmes
Iepazīties ar apmācību
Esiet pirmais, kas saņem jaunās iespējas
Pievienoties Microsoft Insider

Vai šī informācija bija noderīga?

Cik lielā mērā esat apmierināts ar valodas kvalitāti?
Kas ietekmēja jūsu pieredzi?

Paldies par jūsu atsauksmēm!

×