Internt fel: Det går inte att återställa hdfs interna parametrar medan du är ansluten till ett hdfs filsystem

Problemet finns på Cloudera CDH4, men gäller för alla Hadoop-version som stöds.

När du kör en Hadoop skriptet i "lokal" sammanhang resultaten produceras, men när körs i kontexten för hadoop visas följande fel:

"Internt fel: kan inte återställa hdfs interna parametrar medan du är ansluten till ett filsystem hdfs."

Möjliga orsaker:

1. - du antingen inte anger alternativet 'nameNode' korrekt i kommandot RxHdfsFileSystem() eller om du använder fel portnumret för HDFS i den samma funktionen.

Om du använder formuläret kod för en EdgeNode, kontrollera att inställningen för "värdnamn" är namnet på nameNode och inte edgenode du kör från värdnamn.

Dessutom Kontrollera Cloudera Manager och kontrollera att tjänsten HDFS används port 8020, standardporten. Om den körs på en annan port måste uttryckligen ange som följande anrop i dina Hadoop testar skript:

(Till exempel)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (hostName = myNameNode, port = myPort)

2. - om att ange en kantnod måste du ange samma värdnamn och portinställningar i både RxHadoopMR() och RxHdfsFileSystem()

3.-Kontrollera som du har kopierat RevoScaleR jar filen från katalogen som du öppnat Revolution installer (Revolution mapp)

scaleR-hadoop-0,1-SNAPSHOT.jar i katalogen Cloudera Hadoop lib, vilket normalt är:

/OPT/cloudera/parcels/CDH/lib/hadoop/lib (för skiften) eller

/usr/lib/hadoop/lib/ 

Den här filen måste kopieras till denna mapp på alla noder i klustret Hadoop.

Om du ändrar någon av dessa parametrar igen kör skriptet som från början visade felet.

Om felet kvarstår, kontakta teknisk Support för djupare felsökning.