Hadoop/Revolution R uzņēmuma vidē, mapreduce darbu var neizdoties kerberos saistīto Java izņēmums:
Iestatījumi:
15/02/03 16:59:05 WARN util. NativeCodeLoader: Nevar ielādēt vietējais hadoop savas platformas bibliotēka. izmantojot iebūvētās java klases vajadzības
ATKĻŪDOŠANAS: allArgs = [-Dmapred.reduce.tasks=1, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]
15/02/03 16:59:09 hdfs informācija. DFSClient: Izveidots HDFS_DELEGATION_TOKEN pilnvaru 242420 a377683 ha-hdfs:nameservice1
15/02/03 16:59:09 informācijas drošību. TokenCache: Dt hdfs://nameservice1; ir Veids: HDFS_DELEGATION_TOKEN, serviss: ha-hdfs:nameservice1 Ident: (HDFS_DELEGATION_TOKEN pilnvaru 242420 a377683)
......
15/02/03 16:59:25 mapreduce informācija. Darbs: karti 0 % 0 % samazināt
15/02/03 16:59:38 mapreduce informācija. Darbs: Uzdevuma Id: attempt_1422647534016_1760_m_000000_0 statuss: neizdevās
Kļūda: java.io.IOException: R VM izgājis ar izejas kodu: 1 izvade:
sākuma skriptu
[1] SPĒKĀ
$fileName
[1] NA
$start
[1] 0
$length
[1] 0
15/02/03 16:59:37 WARN drošību. UserGroupInformation: Kā PriviledgedActionException: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS sākt neizdevās [izraisa GSSException: nav derīga akreditācijas (mehānisms līmenis: neizdevās atrast nevienu Kerberos tgt)]
15/02/03 16:59:37 WARN ipc. Klienta: Izveidot savienojumu ar serveri, radās izņēmums: javax.security.sasl.SaslException: GSS sākt neizdevās [izraisa GSSException: nav derīga akreditācijas (mehānisms līmenis: neizdevās atrast nevienu Kerberos tgt)]
15/02/03 16:59:37 WARN drošību. UserGroupInformation: Kā PriviledgedActionException: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS sākt neizdevās [izraisa GSSException: nav derīga akreditācijas (mehānisms līmenis: neizdevās atrast nevienu Kerberos tgt)]
hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) kļūda:
java.io.IOException: neizdevās lokālās izņēmums: java.io.IOException: javax.security.sasl.SaslException: GSS sākt neizdevās [izraisa GSSException: nav derīga akreditācijas (mehānismu līmenis: neizdevās atrast nevienu Kerberos tgt)]; Resursdatora Details: lokālā resursdatora ir: "< hostname >"; mērķis ir: "< hostname >": 8020;
pēc org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
pēc org.apache.hadoop.ipc.Client.call(Client.java:1415)
pēc org.apache.hadoop.ipc.Client.call(Client.java:1364)
pēc org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
pēc com.sun.proxy.$Proxy14.getBlockLocations (nezināma avota)
pēc org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)
pēc sun.reflect.NativeMethodAccessorImpl.invoke0 (vietējā metode)
pēc sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
pēc sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
pēc java.lang.reflect.Method.invoke(Method.java:606)
pēc org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
pēc org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
pēc com.sun.proxy.$Proxy15.getBlockLocations (nezināma avota)
pēc org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)
pēc org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)
pēc org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)
pēc org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)
pēc org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)
org.apache.hadoop.hdfs.DFSInputStream < init > (DFSInputStream.java:230).
pēc org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)
pēc org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)
pēc org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)
pēc org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
pēc org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)
Izraisījusi,: java.io.IOException: javax.security.sasl.SaslException: GSS sākt neizdevās [izraisa GSSException: nav derīga akreditācijas (mehānismu līmenis: neizdevās atrast nevienu Kerberos tgt)]
pēc org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)
pēc java.security.AccessController.doPrivileged (vietējā metode)
pēc javax.security.auth.Subject.doAs(Subject.java:415)
pēc org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
pēc org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)
pēc org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)
pēc org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)
pēc org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)
pēc org.apache.hadoop.ipc.Client.call(Client.java:1382)
Vispirms pārliecinieties lietotājs iesniedzot uzdevums ir pašreizēju un derīgu kerberos biļeti, bet var redzēt pat apstiprinātais derīgu biļeti ar šo kļūmi.
Ja klastera mezglu nosaukums augsta pieejamība ir konfigurēta, ir nepieciešama īpaša RxHadoopMR() un RxHdfsFileSystem() aicina norādīt mezglā nosaukumu pakalpojums gan norādot active nosaukums mezglu resursdatora darbosies arī skriptu. Attiecībā uz kerberized un augstas kvalitātes nosaukumu mezglu vidē HDFS_DELEGATION_TOKEN jāatbilst nameservice atsauci. Skatiet iepriekš kļūdas:
INFORMĀCIJAS drošību. TokenCache: Dt hdfs://nameservice1; ir Veids: HDFS_DELEGATION_TOKEN, serviss: ha-hdfs:nameservice1 Ident: (HDFS_DELEGATION_TOKEN pilnvaru 242420 a377683
Šādā gadījumā jānosaka "nameservice1" RxHadoopMR() un RxHdfsFileSystem() zvanu nameNode/resursdatora argumentu.
