Hadoopi/Revolution R ettevõtte keskkonnas, mapreduce'i töö võib nurjuda Kerberose seotud Java erand:
Seaded:
15-02-03 16:59:05 WARN util. NativeCodeLoader: Ei saa laadida native Hadoopi teek teie platvorm... kasutades sisseehitatud java klassid vajaduse korral
DEBUG: allArgs = [-Dmapred.reduce.tasks=1, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]
15-02-03 16:59:09 INFO hdfs. DFSClient: Loodud HDFS_DELEGATION_TOKEN luba 242420 a377683 ha-hdfs:nameservice1
15-02-03 16:59:09 INFO turvalisuse. TokenCache: Sain dt hdfs://nameservice1; Selline: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN luba 242420 a377683)
......
15-02-03 16:59:25 INFO mapreduce'i. Töö: vähendada kaart 0% 0%
15-02-03 16:59:38 INFO mapreduce'i. Töö: Ülesande Id: attempt_1422647534016_1760_m_000000_0, oleku: nurjus
Tõrge: java.io.IOException: R VM sulgus välju: 1, väljund:
skripti käivitamine
[1] TRUE
$fileName
[1] NA
$start
[1] 0
$length
[1] 0
15-02-03 16:59:37 WARN turvalisuse. UserGroupInformation: Nagu PriviledgedActionException: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS algatada ebaõnnestus [põhjustatud GSSException: pole kehtiv kasutajanimi ja parool antud (mehhanism tase: ei leidnud ühtegi Kerberose tgt)]
15-02-03 16:59:37 WARN ipc. Klient: Serveriga ühenduse loomise ajal ilmnes erand: javax.security.sasl.SaslException: GSS algatada ebaõnnestus [põhjustatud GSSException: pole kehtiv kasutajanimi ja parool antud (mehhanism tase: ei leidnud ühtegi Kerberose tgt)]
15-02-03 16:59:37 WARN turvalisuse. UserGroupInformation: Nagu PriviledgedActionException: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS algatada ebaõnnestus [põhjustatud GSSException: pole kehtiv kasutajanimi ja parool antud (mehhanism tase: ei leidnud ühtegi Kerberose tgt)]
hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) tõrge:
java.io.IOException: nurjus kohaliku erand: java.io.IOException: javax.security.sasl.SaslException: GSS algatada ebaõnnestus [põhjustatud GSSException: pole kehtiv kasutajanimi ja parool antud (mehhanism tase: ei leidnud ühtegi Kerberose tgt)]; Hosti üksikasjad: kohaliku hosti on: "< hostname >"; Sihthosti on: "< hostname >": 8020;
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
at org.apache.hadoop.ipc.Client.call(Client.java:1415)
at org.apache.hadoop.ipc.Client.call(Client.java:1364)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy14.getBlockLocations (tundmatu autor)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)
kell sun.reflect.NativeMethodAccessorImpl.invoke0 (kohalikud meetod)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy15.getBlockLocations (tundmatu autor)
at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)
at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)
at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)
at org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)
at org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)
org.apache.hadoop.hdfs.DFSInputStream. < käivitamise > (DFSInputStream.java:230)
at org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)
at org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)
at org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)
Poolt põhjustatud: java.io.IOException: javax.security.sasl.SaslException: GSS algatada ebaõnnestus [põhjustatud GSSException: pole kehtiv kasutajanimi ja parool antud (mehhanism tase: ei leidnud ühtegi Kerberose tgt)]
at org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)
kell java.security.AccessController.doPrivileged (kohalikud meetod)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
at org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)
at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)
at org.apache.hadoop.ipc.Client.call(Client.java:1382)
Esmalt veenduge, et kasutaja esitamine töö on aktiivse ja kehtiva Kerberose pileti, kuid on võimalik, isegi kui suvand kinnitatud kehtiv pilet selle tõrke.
Kui klastri on konfigureeritud kasutama nime suur kättesaadavus, on vaja täpselt selle RxHadoopMR() ja RxHdfsFileSystem() kutsub määrata teenuse nimi sõlme määrab active nimi sõlme hostname toimivad ka, kui skripti. Puhul on kerberized ja HA nimi sõlme keskkond, et HDFS_DELEGATION_TOKEN peab vastama nameservice viide. Ülaltoodud tõrketeade kuvada:
INFO turvalisus. TokenCache: Sain dt hdfs://nameservice1; Selline: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:nameservice1 Ident: (HDFS_DELEGATION_TOKEN luba 242420 a377683 jaoks
Sel juhul tuleks seada Namenode'ini/hostName argumendid RxHadoopMR() ja RxHdfsFileSystem() kõned "nameservice1".
