Błąd wewnętrzny: Nie można zresetować params wewnętrznego hdfs podłączonego do systemu plików hdfs

Problemy znalezione na Cloudera CDH4, ale mające zastosowanie do obsługiwanej wersji Hadoop.

Podczas uruchamiania skryptu w kontekście "local" wyniki są produkowane, ale gdy uruchomiona w kontekście hadoop pokazuje następujący błąd Hadoop:

"Błąd wewnętrzny: nie można zresetować params wewnętrznego hdfs podłączonego do systemu plików hdfs."

Możliwe przyczyny:

1. - albo nie ustawieniu opcji 'nameNode' poprawnie w poleceniu RxHdfsFileSystem() lub używasz niewłaściwego portu numer dla HDFS w tej samej funkcji.

Jeśli korzystasz z formularza Kod EdgeNode, upewnij się, że ustawienie "Nazwa hosta" jest rzeczywista nazwa nameNode i nie nazwę hosta edgenode, które są uruchamiane z.

Ponadto sprawdź Menedżera Cloudera i sprawdź, czy usługa HDFS jest używany port '8020', port domyślny. Jeśli jest uruchomiony na innym porcie, należy jawnie ustawić że poniższe wywołanie w swoim Hadoop przetestować skrypt:

(Na przykład)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (hostName = myNameNode, port = myPort)

2. - w przypadku określania punkt krawędziowy należy określić samą nazwę hosta i port ustawienia zarówno RxHadoopMR(), jak i RxHdfsFileSystem()

3.-Upewnij się, że ten został skopiowany RevoScaleR jar plików z katalogu, w którym uruchomiony jest Instalator Rewolucji (folder Rewolucji),

Skaler hadoop 0,1 SNAPSHOT.jar do katalogu lib Cloudera Hadoop, który zazwyczaj jest:

/OPT/cloudera/parcels/CDH/lib/hadoop/lib (działek) lub

/usr/lib/hadoop/lib/ 

Ten plik musi być kopiowane do tego folderu na wszystkie węzły chmurą.

Po zmodyfikowaniu dowolnego z tych parametrów, ponownie uruchomić skrypt, który początkowo wykazała błąd.

Jeśli błąd nie zniknie, skontaktuj się z pomocy technicznej, do głębszych rozwiązywania problemów.