Jak podávat RRE úlohy Hadoop z klienta systému Windows (nátěrové)

Tento článek popisuje, jak spustit skript revoluce R Enterprise Hadoop cluster z klienta Windows mimo cluster pomocí nátěrové ssh klienta.

  1. Nainstalujte a nakonfigurujte revoluce R Enterprise 7.3 za Revoluce R Enterprise 7.3 Hadoop Průvodce konfiguracíclusteru Hadoop. Ověřte operace RRE v clusteru při spuštění skriptu z v rámci clusteru pomocí ověřovacího skriptu z bodu 4.

  2. Nainstalujte klienta systému Windows Enterprise revoluce R pro Windows 7.3.

  3. Instalace nátěrové ssh klienta na klienta systému Windows. Ověřte ssh možnost přihlášení uživatele R/Hadoop z klienta systému Windows.

  4. Konfigurace passwordless ssh pro uživatele R/Hadoop vytvořením ssh keypair na straně klienta a na namenode Hadoop pro uživatele. Informace naleznete zde:

    https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty

    nebo získat pomoc z vaší skupiny IT, jak je nezbytné pro dosažení souladu s požadavky na zabezpečení. Uložte .ppk soukromý klíč v klientském počítači systému Windows. Například, "C:\data\hdp.ppk".

  5. V klientovi nátěrové vytvořte a uložte s názvem nátěrové relace pro přihlášení z klienta Hadoop namenode. Například, "RREHDP".

  6. Ručně ověřte passwordless přihlášení a uživatel R (ex: scott) pomocí nástroje plink.exe nátěrové, uložené relace a klíče:

    "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP
  7. Pokud úspěšného přihlášení test plink.exe se změňte kontextu výpočetní Hadoop umožňuje zahrnout ssh klient potřebuje informace o připojení při spuštění skriptu z v rámci clusteru. Například:

    Základní hadoop vypočítat kontextu používá při spuštění skriptu v uzlu clusteru

    myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
    cluster <- rxSetComputeContext(myHadoopCluster)

    Hadoop výpočetní kontextu používá při spuštění skriptu z klienta se systémem Windows prostřednictvím nátěrové prodloužena. Poznámka: při použití nátěrové, by mySshHostname nelze odkazovat na název hostitele namenode. Tyto informace jsou uložené nátěrové relace. Ve skriptu je třeba nastavit mySshHostname na název uložené relace.

    mySshUsername <- "scott"mySshHostname <- "RREHDP"

    myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
    myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")

    myHadoopCluster <- RxHadoopMR(
        hdfsShareDir = myHdfsShareDir,
        shareDir = myShareDir,
        sshUsername = mySshUsername,
        sshHostname = mySshHostname,
        sshClientDir = "C:\\Program Files (x86)\\PuTTY",
        sshSwitches = "-i c:\\data\\hdp.ppk",
        consoleOutput = TRUE)

    cluster <- rxSetComputeContext(myHadoopCluster)

    Hodnotu sshSwitches lze podávat námitky podle potřeby ssh klienta, například jiné než výchozí ssh port.

  8. Test skriptu R z R Enterprise revoluce na klienta systému Windows. Skript by měl připojit pomocí nátěrové ssh klient na pozadí odeslat skript pro spuštění na namenode.

V RevoScaleR Hadoop Příručka Začínáme pro další informace.

Potřebujete další pomoc?

Rozšiřte své znalosti a dovednosti
Projít školení
Získejte nové funkce jako první
Připojit se k programu Microsoft Insider

Byly tyto informace užitečné?

Děkujeme za váš názor!

Děkujeme vám za váš názor! Pravděpodobně bude užitečné, když vás spojíme s některým z našich agentů podpory Office.

×