Applies ToRevolution Analytics

Hadoop と革命 R のエンタープライズ環境では、mapreduce ジョブ kerberos 関連の Java 例外で失敗します。

オプションを設定します。15/02/03 16時 59分: 05 警告 util.NativeCodeLoader:. お使いのプラットフォーム用のネイティブ hadoop のライブラリを読み込むことができません組み込み java を使用してクラスの該当する場合デバッグ: allArgs = [-Dmapred.reduce.tasks=1、/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input、/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro、/user/RevoShare/a377683/AirlineDemoSmall/*、dojo3m20002.rtp1.hadoop.fmr.com、8020、/usr/bin/Revoscript]15/02/03 16時 59分: 09 hdfs の情報です。DFSClient: トークンを作成した HDFS_DELEGATION_TOKEN 242420 a377683 用の ha-hdfs:nameservice115/02/03 16時 59分: 09 情報セキュリティです。TokenCache: hdfs://nameservice1; の dt を取得しました種類: HDFS_DELEGATION_TOKEN、サービス: ha-hdfs:nameservice1、Ident: (HDFS_DELEGATION_TOKEN 242420 のトークン a377683)......15/02/03 16時 59分: 25 情報 mapreduce。ジョブ: マップの 0% が 0% を削減します。15/02/03 16時 59分: 38 情報 mapreduce。ジョブ: タスク Id: attempt_1422647534016_1760_m_000000_0、状態: 失敗しました。エラー: java.io.IOException: R の VM は、終了コードで終了しました: 1 の場合、出力します。開始スクリプト[1] は TRUE。$fileName [NA 1]$start [1] 0$length [1] 015/02/03 16時 59分: 37 [セキュリティの警告です。UserGroupInformation: として PriviledgedActionException: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS の初期化に失敗しました [GSSException が原因で発生: いない有効な資格情報が提供されている (機構のレベル: すべての Kerberos tgt が見つかりませんでした)]15/02/03 16時 59分: 37 ipc のメッセージを表示します。クライアント: 例外がサーバーへの接続中に発生しました: javax.security.sasl.SaslException: GSS の初期化に失敗しました [GSSException が原因で発生: いない有効な資格情報が提供されている (機構のレベル: Kerberos tgt が見つかりませんでした)]15/02/03 16時 59分: 37 [セキュリティの警告です。UserGroupInformation: として PriviledgedActionException: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS の初期化に失敗しました [GSSException が原因で発生: いない有効な資格情報が提供されている (機構のレベル: すべての Kerberos tgt が見つかりませんでした)]hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) エラー。java.io.IOException: ローカルの例外で失敗しました: java.io.IOException: javax.security.sasl.SaslException: GSS の初期化に失敗しました [GSSException が原因で発生: いない有効な資格情報が提供されている (機構のレベル: Kerberos tgt が見つかりませんでした)] です。ホストの詳細: ローカル ・ ホストは、:"hostname < >"です。宛先ホスト:"< ホスト名 >]: 8020 です。org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764) でorg.apache.hadoop.ipc.Client.call(Client.java:1415) でorg.apache.hadoop.ipc.Client.call(Client.java:1364) でorg.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206) でcom.sun.proxy.$Proxy14.getBlockLocations (不明なソース) でorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246) でsun.reflect.NativeMethodAccessorImpl.invoke0 (ネイティブ メソッド) でsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) でsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) でjava.lang.reflect.Method.invoke(Method.java:606) でorg.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187) でorg.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) でcom.sun.proxy.$Proxy15.getBlockLocations (不明なソース) でorg.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179) でorg.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169) でorg.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159) でorg.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270) でorg.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237) でで org.apache.hadoop.hdfs.DFSInputStream < init > (DFSInputStream.java:230)org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457) でorg.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301) でorg.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297) でorg.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) でorg.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297) でが発生しました: java.io.IOException: javax.security.sasl.SaslException: GSS の初期化に失敗しました [GSSException が原因で発生: いない有効な資格情報が提供されている (機構のレベル: すべての Kerberos tgt が見つかりませんでした)]org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679) でjava.security.AccessController.doPrivileged (ネイティブ メソッド) でjavax.security.auth.Subject.doAs(Subject.java:415) でorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642) でorg.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642) でorg.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725) でorg.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367) でorg.apache.hadoop.ipc.Client.getConnection(Client.java:1463) でorg.apache.hadoop.ipc.Client.call(Client.java:1382) で

まずにジョブが最新かつ有効な kerberos チケットが有効なチケットを確認した場合でもこのエラーを表示することが送信するユーザーを確認します。名前ノードの高可用性のクラスターを構成する場合、RxHadoopMR() で特定する必要があるし、も機能がアクティブな名前のノードのホスト名を指定するノードのネーム サービスを指定するのにはスクリプトで RxHdfsFileSystem() を呼び出します。Kerberized 、 HA 名前ノード環境の場合、HDFS_DELEGATION_TOKEN は、ネームの参照を一致しなければなりません。上記のエラーが表示されます。

情報セキュリティです。TokenCache: hdfs://nameservice1; の dt を取得しました種類: HDFS_DELEGATION_TOKEN、サービス: ha-hdfs:nameservice1、Ident: (HDFS_DELEGATION_TOKEN 242420 のトークン a377683

この例では、"nameservice1"に RxHadoopMR() と RxHdfsFileSystem() の呼び出しで nameNode/ホスト名の引数を設定してください。

ヘルプを表示

その他のオプションが必要ですか?

サブスクリプションの特典の参照、トレーニング コースの閲覧、デバイスのセキュリティ保護方法などについて説明します。