Interne fout: Interne params hdfs terwijl verbonden met een bestandssysteem hdfs niet herstellen

Gevonden op Cloudera CDH4, maar van toepassing op een ondersteunde versie van Hadoop probleem.

Bij het uitvoeren van een script in de context van "local" resultaten worden geproduceerd, maar wanneer uitgevoerd in de context van hadoop geeft volgende fout Hadoop:

"Interne fout: interne params hdfs terwijl verbonden met een bestandssysteem hdfs niet herstellen."

Mogelijke oorzaken:

1. - ofwel niet instellen de optie 'nameNode' goed in de opdracht RxHdfsFileSystem() of u gebruikt het juiste poortnummer voor HDFS in die dezelfde functie.

Als u uw formulier met een EdgeNode, zorg dat de instelling voor 'hostName' de werkelijke naam van de nameNode en niet van de edgenode die u is vanaf uitvoert de host-naam.

Ook, Controleer Cloudera Manager en controleer of de service HDFS 8020, de standaardpoort poort. Als dit wordt uitgevoerd op een andere poort, moet u expliciet instellen die in de volgende aanroep in uw Hadoop script testen:

(Bijvoorbeeld)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (hostName = myNameNode, poort = myPort)

2. - bij het opgeven van een randknooppunt u moet de dezelfde hostnaam opgeven en poortinstellingen in zowel RxHadoopMR() als RxHdfsFileSystem()

3.-Zorg ervoor dat u hebt gekopieerd het oppervlak RevoScaleR bestand uit de map waarin u het installatieprogramma revolutie (revolutie map), gestart

scaleR hadoop-0,1 SNAPSHOT.jar naar de map Cloudera Hadoop lib, die doorgaans:

/Opt/cloudera/parcels/CDH/lib/hadoop/lib (voor pakketten) of

/usr/lib/hadoop/lib/ 

Dit bestand moet worden gekopieerd naar deze map op alle knooppunten van het cluster Hadoop.

Na het wijzigen van een van deze parameters, het script dat in eerste instantie bleek de fout opnieuw uitvoeren.

Als de fout zich blijft voordoen, neem dan contact op met de technische ondersteuning voor uitgebreide probleemoplossing.