Uygulandığı Öğe
Revolution Analytics

Hadoop/devrim R kuruluş ortamında, kerberos ile ilgili Java durumla mapreduce işi başarısız olabilir:

Ayar seçenekleri:15/02/03 16:59:05 util. UYAR NativeCodeLoader: Platformunuz için yerel hadoop kitaplığı yüklenemedi... kullanarak yerleşik java sınıfları varsaHata ayıklama: allArgs = [-Dmapred.reduce.tasks=1, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]15/02/03 16:59:09 bilgi hdfs. DFSClient: A377683 için 242420 HDFS_DELEGATION_TOKEN belirteci ha oluşturuldu-hdfs:nameservice115/02/03 16:59:09 bilgi güvenliği. TokenCache: hdfs://nameservice1; için dt var Tür: HDFS_DELEGATION_TOKEN, hizmet: ha-hdfs:nameservice1, Ident: (242420 a377683 için HDFS_DELEGATION_TOKEN belirteci)......15/02/03 16:59:25 bilgi mapreduce. İş: harita %0 %0 azaltmak15/02/03 16:59:38 bilgi mapreduce. İş: Görev kimliği: attempt_1422647534016_1760_m_000000_0, durumu: başarısız olduHata: java.io.IOException: R VM çıkış koduyla çıkıldı: 1, çıktı:Başlangıç komut dosyası[1] DOĞRU$fileName [1] NA$start [1] 0$length [1] 015/02/03 16:59:37 güvenlik UYAR. UserGroupInformation: Olarak PriviledgedActionException: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS initiate başarısız oldu [tarafından GSSException neden: geçerli kimlik bilgileri sağlanan (mekanizması düzeyi: tüm Kerberos tgt bulunamadı)]15/02/03 16:59:37 IPC UYAR. İstemci: sunucuya bağlanırken karşılaşılan özel durum: javax.security.sasl.SaslException: GSS initiate başarısız oldu [tarafından GSSException neden: geçerli kimlik bilgileri sağlanan (mekanizması düzeyi: tüm Kerberos tgt bulunamadı)]15/02/03 16:59:37 güvenlik UYAR. UserGroupInformation: Olarak PriviledgedActionException: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS initiate başarısız oldu [tarafından GSSException neden: geçerli kimlik bilgileri sağlanan (mekanizması düzeyi: tüm Kerberos tgt bulunamadı)]hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): hata FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;):java.io.IOException: yerel özel üzerinde başarısız oldu: java.io.IOException: javax.security.sasl.SaslException: GSS initiate başarısız oldu [tarafından GSSException neden: geçerli kimlik bilgileri sağlanan (mekanizması düzeyi: tüm Kerberos tgt bulunamadı)]; Ana ayrıntıları: yerel ana bilgisayar kullanılır: "< anabilgisayaradı >"; Hedef ana bilgisayar: "< anabilgisayaradı >": 8020;org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764) atorg.apache.hadoop.ipc.Client.call(Client.java:1415) atorg.apache.hadoop.ipc.Client.call(Client.java:1364) atorg.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206) at(bilinmeyen bir kaynaktan) com.sun.proxy.$Proxy14.getBlockLocations atorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246) atsun.reflect.NativeMethodAccessorImpl.invoke0 (doğal yöntemi)sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) atjava.lang.reflect.Method.invoke(Method.java:606) atorg.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187) atorg.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) at(bilinmeyen bir kaynaktan) com.sun.proxy.$Proxy15.getBlockLocations atorg.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179) atorg.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169) atorg.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159) atorg.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270) atorg.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237) atorg.apache.hadoop.hdfs.DFSInputStream. < init > (DFSInputStream.java:230)org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457) atorg.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301) atorg.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297) atorg.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) atorg.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297) atTarafından Caused: java.io.IOException: javax.security.sasl.SaslException: GSS initiate başarısız oldu [tarafından GSSException neden: geçerli kimlik bilgileri sağlanan (mekanizması düzeyi: tüm Kerberos tgt bulunamadı)]org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679) atjava.security.AccessController.doPrivileged (doğal yöntemi)javax.security.auth.Subject.doAs(Subject.java:415) atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642) atorg.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642) atorg.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725) atorg.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367) atorg.apache.hadoop.ipc.Client.getConnection(Client.java:1463) atorg.apache.hadoop.ipc.Client.call(Client.java:1382) at

İlk olarak, işin geçerli ve kerberos bileti varsa, ancak teyit edilen geçerli bilet ile bile bu hata görmek mümkün gönderen kullanıcıya doğrulayın.Küme adı düğüm yüksek kullanılabilirlik için yapılandırılmışsa, RxHadoopMR() içinde belirli olması gereklidir ve RxHdfsFileSystem() olsa da etkin adı düğüm ana bilgisayar adını belirterek çalışır düğüm hizmet adı belirtmek için komut dosyası çağırır. Bir kerberized ve HA adı düğüm ortamı söz konusu olduğunda, HDFS_DELEGATION_TOKEN nameservice başvurusuyla eşleşmesi gerekir. Yukarıdaki hata bakın:

BİLGİ güvenliği. TokenCache: hdfs://nameservice1; için dt var Tür: HDFS_DELEGATION_TOKEN, hizmet: ha-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN belirteci 242420 için a377683

Bu durumda, RxHadoopMR() ve RxHdfsFileSystem() çağrıları nameNode/hostName değişkenlerinde için "nameservice1" olarak ayarlanmalıdır.

Daha fazla yardıma mı ihtiyacınız var?

Daha fazla seçenek mi istiyorsunuz?

Abonelik avantajlarını keşfedin, eğitim kurslarına göz atın, cihazınızın güvenliğini nasıl sağlayacağınızı öğrenin ve daha fazlasını yapın.