发现在 Cloudera CDH4,而适用于任何受支持的 Hadoop 版本的问题。当运行 Hadoop 生成脚本在"本地"的上下文的结果,但当运行 hadoop 上下文中显示以下错误︰"内部错误︰ 无法重置 hdfs 内部参数连接到 hdfs 文件系统时。"可能的原因︰1。-或者不设置 nameNode 选项正常 RxHdfsFileSystem() 命令中或在同一个函数中对 HDFS 使用错误的端口号。如果您正在运行您的代码的窗体 EdgeNode,请确保主机名的设置是 nameNode 并从运行 edgenode 的主机名的实际名称。另外,请检查 Cloudera 管理器并验证 HDFS 服务正在使用端口"8020",默认端口。如果它在一个不同的端口上运行,您需要显式设置中您 Hadoop 的以下调用测试脚本的︰(示例)myNameNode <-"test1.acme.com"myPort <-1700年hdfsFS <-RxHdfsFileSystem (主机名 myNameNode,端口 = = myPort)2。-在指定边缘节点,您需要指定相同的主机名和端口 RxHadoopMR() 和 RxHdfsFileSystem() 中的设置3。-请确保该具有复制RevoScaleR jar 文件从目录中启动旋转安装程序 (革命的文件夹),到 Cloudera Hadoop lib 目录中,通常是scaleR hadoop 0.1 SNAPSHOT.jar :/opt/cloudera/parcels/CDH/lib/hadoop/lib parcels); 或/usr/lib/hadoop/lib/ 此文件必须复制到此文件夹中的所有节点上Hadoop 群集。修改这些参数之后, 再次运行最初显示错误的脚本。如果此错误仍然存在,请与技术支持,联系有关进一步的疑难解答。
内部错误︰ 无法重置 hdfs 内部参数时连接到 hdfs 文件系统
应用对象
Revolution Analytics