发现在 Cloudera CDH4,而适用于任何受支持的 Hadoop 版本的问题。

当运行 Hadoop 生成脚本在"本地"的上下文的结果,但当运行 hadoop 上下文中显示以下错误︰

"内部错误︰ 无法重置 hdfs 内部参数连接到 hdfs 文件系统时。"

可能的原因︰

1。-或者不设置 nameNode 选项正常 RxHdfsFileSystem() 命令中或在同一个函数中对 HDFS 使用错误的端口号。

如果您正在运行您的代码的窗体 EdgeNode,请确保主机名的设置是 nameNode 并从运行 edgenode 的主机名的实际名称。

另外,请检查 Cloudera 管理器并验证 HDFS 服务正在使用端口"8020",默认端口。如果它在一个不同的端口上运行,您需要显式设置中您 Hadoop 的以下调用测试脚本的︰

(示例)

myNameNode <-"test1.acme.com"

myPort <-1700年

hdfsFS <-RxHdfsFileSystem (主机名 myNameNode,端口 = = myPort)

2。-在指定边缘节点,您需要指定相同的主机名和端口 RxHadoopMR() 和 RxHdfsFileSystem() 中的设置

3。-请确保该具有复制RevoScaleR jar 文件从目录中启动旋转安装程序 (革命的文件夹),

到 Cloudera Hadoop lib 目录中,通常是scaleR hadoop 0.1 SNAPSHOT.jar :

/opt/cloudera/parcels/CDH/lib/hadoop/lib parcels); 或

/usr/lib/hadoop/lib/ 

此文件必须复制到此文件夹中的所有节点上Hadoop 群集。

修改这些参数之后, 再次运行最初显示错误的脚本。

如果此错误仍然存在,请与技术支持,联系有关进一步的疑难解答。

需要更多帮助?

扩展你的技能
了解培训
抢先获得新功能
加入 Microsoft 内部人员

此信息是否有帮助?

你对翻译质量的满意程度如何?
哪些因素影响了你的体验?

谢谢您的反馈意见!

×