Вътрешна грешка: Не може да възстановите hdfs вътрешен params, докато сте свързани към hdfs файлова система

Издаване на Cloudera CDH4, но при всички поддържани Hadoop версия.

При изпълнение на скрипт Hadoop в "локално" контекст резултатите са произведени, но при работа в контекста на hadoop показва след грешка:

"Вътрешна грешка: не може да възстановите hdfs вътрешен params, докато сте свързани към hdfs файлова система."

Възможни причини:

1. - или не задавате опцията "nameNode" правилно в RxHdfsFileSystem() команда или използвате грешен портовете за HDFS в същата тази функция.

Ако работите под формата на код EdgeNode, уверете се, че настройката за "хост" е действителното име на nameNode а не името на хоста на edgenode изпълнявате от.

Също така проверете Cloudera Manager и проверете дали услугата HDFS използва порт 8020, портът по подразбиране. Ако работи на друг порт, трябва изрично да, в следните повикване във вашата Hadoop тест скрипт:

(Например)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (име на хост = myNameNode, порт = myPort)

2. - за задаване на възел край, трябва да зададете същото име на хост и порт настройки в RxHadoopMR() и RxHdfsFileSystem()

3.-Уверете се, че сте копирали RevoScaleR съда файл от директорията, в която се стартира инсталиращата програма Revolution (Revolution папка)

Множител-hadoop 0.1 SNAPSHOT.jar в директорията Cloudera Hadoop неограничено, който обикновено е:

/opt/cloudera/parcels/CDH/Lib/hadoop/Lib (за пакети) или

/usr/lib/hadoop/lib/ 

Този файл трябва да се копират в тази папка на всички възли на клъстера, Hadoop.

След промяната на някое от следните параметри, изпълнете отново скрипта, който първоначално показва грешка.

Ако грешката продължава, се свържете с техническата поддръжка, за отстраняване на по-дълбоко.