Vnitřní chyba: Nelze obnovit vnitřní parametry hdfs připojeným na systém souborů hdfs

Problém nalezen na Cloudera CDH4, ale je použitelná pro všechny podporované verze Hadoop.

Při spuštění Hadoop, skript v rámci "místní" výsledky vyrábějí, ale při spuštění v kontextu hadoop zobrazí následující chybě:

"Vnitřní chyba: nelze obnovit vnitřní parametry hdfs připojeným na systém souborů hdfs."

Možné příčiny:

1. - možnost "nameNode" nejsou nastavení správně v příkazu RxHdfsFileSystem() nebo používáte nesprávný port číslo HDFS ve stejné funkce.

Pokud používáte kód formuláře EdgeNode, ujistěte se, že nastavení pro "hostName" je skutečný název nameNode a nikoli název hostitele edgenode, které spouštíte z.

Také zkontrolujte Cloudera správce a ověřte, zda služba HDFS používá port 8020, výchozí port. Pokud je spuštěna na jiný port, musíte explicitně nastavit, následující volání ve vaší Hadoop test skriptu:

(Příklad)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (název hostitele = myNameNode, port = myPort)

2. - v případě zadání krajního uzlu je nutné zadat stejný název hostitele a port nastavení v RxHadoopMR() a RxHdfsFileSystem()

3.-Zkontrolujte, zda že jste zkopírovali sklenici RevoScaleR soubor z adresáře, ve kterém je spuštěn instalační program revoluce (Revolution složku),

scaleR hadoop 0,1 SNAPSHOT.jar do adresáře lib Cloudera Hadoop, který je obvykle:

/OPT/cloudera/parcels/CDH/lib/hadoop/lib (u pozemků) nebo

/usr/lib/hadoop/lib/ 

Tento soubor musí být zkopírovány do této složky na všechny uzly clusteru Hadoop.

Po úpravě všech těchto parametrů znovu spustit skript, který původně ukázalo chybu.

Pokud potíže potrvají, kontaktujte odbornou pomoc, pro hlubší řešení potíží.