Обнаружена проблема с Cloudera CDH4, но применимо к любой поддерживаемой версии Hadoop.
Во время работы Hadoop, производятся сценарий в контексте «local» результаты, но при работе в hadoop контексте она отображается следующая ошибка:
«Внутренняя ошибка: не удается сбросить hdfs внутренней params во время подключения файловой системы hdfs.»
Возможные причины:
1. - либо не задаются параметром 'nameNode' правильно в команде RxHdfsFileSystem() или неправильный порт используется для HDFS в этой же функции.
При выполнении кода формы EdgeNode, убедитесь, что значение параметра «имя узла» – это реальное имя nameNode и не имя узла edgenode, которые выполняются из.
Кроме того Проверьте диспетчер Cloudera и убедитесь, что служба HDFS использует порт "8020", порт по умолчанию. Если он работает на другой порт, необходимо явно задать, в следующем вызове в вашем Hadoop тестовый сценарий:
(К примеру)
myNameNode <-«test1.acme.com»
myPort < - 1700
hdfsFS <-RxHdfsFileSystem (hostName = myNameNode, порт = myPort)
2. - в случае указания угловой узел, необходимо указать имя того же хоста и порта параметры RxHadoopMR() и RxHdfsFileSystem()
3.-Убедитесь, что что вы скопировали RevoScaleR jar файл из каталога, в котором запущен установщик революции (папка революции),
Проекционная hadoop 0,1 SNAPSHOT.jar в каталог lib Cloudera Hadoop, который обычно является:
/OPT/cloudera/parcels/CDH/LIB/hadoop/lib (для упаковок) или
/usr/lib/hadoop/lib/
Этот файл должен быть скопирован в эту папку на все узлы кластера Hadoop.
После изменения любого из этих параметров, снова запустите сценарий, который изначально показал сообщение об ошибке.
Если ошибка повторяется, в службу технической поддержки для более глубокого устранения неполадок.