Errore interno: Impossibile reimpostare hdfs params interno mentre si è connessi a un file system hdfs

Problema trovato in Cloudera CDH4, ma è applicabile a qualsiasi versione supportata di Hadoop.

Quando si esegue un Hadoop produzione script nei risultati di contesto "locale", ma quando in esecuzione nel contesto di hadoop, Mostra il seguente errore:

"Errore interno: Impossibile reimpostare hdfs params interno mentre si è connessi a un sistema di file hdfs."

Possibili cause:

1. - o non impostate l'opzione 'nameNode' correttamente nel comando RxHdfsFileSystem() o si utilizza il numero di porta errato per HDFS nella funzione stessa.

Se si esegue il modulo di codice un EdgeNode, assicurarsi che l'impostazione per "hostName" è il nome effettivo del nameNode e non il nome host della edgenode da che è stato eseguito.

Inoltre, controllare Cloudera Manager e verificare che il servizio HDFS utilizza la porta '8020', la porta predefinita. Se è in esecuzione su una porta diversa, è necessario impostare in modo esplicito che nella chiamata seguente del Hadoop, script di test:

(Ad esempio)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (hostName = myNameNode, porta = myPort)

2. - nel caso di specifica di un nodo del bordo, è necessario specificare il nome dell'host stesso e impostazioni in RxHadoopMR() e RxHdfsFileSystem() della porta

3.-Assicurarsi che è stato copiato il file jar RevoScaleR file dalla directory in cui è stato avviato il programma di installazione di rivoluzione (cartella di rivoluzione),

Ridimensionamento-hadoop-0.1-SNAPSHOT.jar nella directory lib Cloudera Hadoop, che in genere è:

/OPT/cloudera/parcels/CDH/lib/Hadoop/lib (per i pacchi) o

/usr/lib/hadoop/lib/ 

Questo file deve essere copiato in questa cartella su tutti i nodi del cluster Hadoop.

Dopo aver modificato uno di questi parametri, eseguire nuovamente lo script che inizialmente ha visualizzato l'errore.

Se l'errore persiste, contattare il supporto tecnico, una più profonda della risoluzione dei problemi.