发现在 Cloudera CDH4,而适用于任何受支持的 Hadoop 版本的问题。
当运行 Hadoop 生成脚本在"本地"的上下文的结果,但当运行 hadoop 上下文中显示以下错误︰
"内部错误︰ 无法重置 hdfs 内部参数连接到 hdfs 文件系统时。"
可能的原因︰
1。-或者不设置 nameNode 选项正常 RxHdfsFileSystem() 命令中或在同一个函数中对 HDFS 使用错误的端口号。
如果您正在运行您的代码的窗体 EdgeNode,请确保主机名的设置是 nameNode 并从运行 edgenode 的主机名的实际名称。
另外,请检查 Cloudera 管理器并验证 HDFS 服务正在使用端口"8020",默认端口。如果它在一个不同的端口上运行,您需要显式设置中您 Hadoop 的以下调用测试脚本的︰
(示例)
myNameNode <-"test1.acme.com"
myPort <-1700年
hdfsFS <-RxHdfsFileSystem (主机名 myNameNode,端口 = = myPort)
2。-在指定边缘节点,您需要指定相同的主机名和端口 RxHadoopMR() 和 RxHdfsFileSystem() 中的设置
3。-请确保该具有复制RevoScaleR jar 文件从目录中启动旋转安装程序 (革命的文件夹),
到 Cloudera Hadoop lib 目录中,通常是scaleR hadoop 0.1 SNAPSHOT.jar :
/opt/cloudera/parcels/CDH/lib/hadoop/lib parcels); 或
/usr/lib/hadoop/lib/
此文件必须复制到此文件夹中的所有节点上Hadoop 群集。
修改这些参数之后, 再次运行最初显示错误的脚本。
如果此错误仍然存在,请与技术支持,联系有关进一步的疑难解答。