Hadoop/Revolution R įmonės aplinkoje, mapreduce užduoties gali nepavykti kerberos susiję Java atvejus:
Parametrai:
15/02/03 16:59:05 įspėti util. NativeCodeLoader: Neįmanoma įkelti jūsų platformos biblioteka prigimtinė hadoop... naudojant builtin java klasių prireikus
DERINIMO: allArgs = [-Dmapred.reduce.tasks=1, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]
15/02/03 16:59:09 informacijos hdfs. DFSClient: Sukurtas HDFS_DELEGATION_TOKEN atpažinimo ženklas 242420 a377683 ha-hdfs:nameservice1
15/02/03 16:59:09 informacijos sauga. TokenCache: Gavo dt, hdfs://nameservice1; Tipo: HDFS_DELEGATION_TOKEN, paslaugos: ha-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN atpažinimo 242420 a377683)
......
15/02/03 16:59:25 informacijos mapreduce. Darbas: žemėlapyje 0 % sumažinti 0 %
15/02/03 16:59:38 informacijos mapreduce. Užduotis: Užduoties Id: attempt_1422647534016_1760_m_000000_0 būsena: nepavyko
Klaida: java.io.IOException: R VM palieka išėjimo kodas: 1, išvestis:
paleisti scenarijų
[1] TRUE
$fileName
[1] NA
$start
[1] 0
$length
[1] 0
15/02/03 16:59:37 įspėti saugos. UserGroupInformation: PriviledgedActionException kaip: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS pradėti nepavyko [dėl GSSException: nėra galiojantis kredencialus, pateiktus (mechanizmas lygis: nepavyko rasti jokių Kerberos tgt)]
15/02/03 16:59:37 įspėti ipc. Kliento: Įvyko jungiantis prie serverio išimtis: javax.security.sasl.SaslException: GSS pradėti nepavyko [dėl GSSException: nėra galiojantis kredencialus, pateiktus (mechanizmas lygis: nepavyko rasti jokių Kerberos tgt)]
15/02/03 16:59:37 įspėti saugos. UserGroupInformation: PriviledgedActionException kaip: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS pradėti nepavyko [dėl GSSException: nėra galiojantis kredencialus, pateiktus (mechanizmas lygis: nepavyko rasti jokių Kerberos tgt)]
hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) klaidos:
java.io.IOException: nepavyko vietos išimtis: java.io.IOException: javax.security.sasl.SaslException: GSS pradėti nepavyko [dėl GSSException: nėra galiojantis kredencialus, pateiktus (mechanizmas lygis: nepavyko rasti jokių Kerberos tgt)]; Pagrindinio kompiuterio duomenys: vietinio pagrindinio kompiuterio yra: "< hostname >"; paskirties kompiuteris yra: "< hostname >": 8020;
į org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
į org.apache.hadoop.ipc.Client.call(Client.java:1415)
į org.apache.hadoop.ipc.Client.call(Client.java:1364)
į org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
į com.sun.proxy.$Proxy14.getBlockLocations (nežinomo šaltinio)
į org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)
į sun.reflect.NativeMethodAccessorImpl.invoke0 (vietiniai metodai)
į sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
į sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
į java.lang.reflect.Method.invoke(Method.java:606)
į org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
į org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
į com.sun.proxy.$Proxy15.getBlockLocations (nežinomo šaltinio)
į org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)
į org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)
į org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)
į org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)
į org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)
org.apache.hadoop.hdfs.DFSInputStream. < paleidimo > (DFSInputStream.java:230)
į org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)
į org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)
į org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)
į org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
į org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)
Dėl: java.io.IOException: javax.security.sasl.SaslException: GSS pradėti nepavyko [dėl GSSException: nėra galiojantis kredencialus, pateiktus (mechanizmas lygis: nepavyko rasti jokių Kerberos tgt)]
į org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)
į java.security.AccessController.doPrivileged (vietiniai metodai)
į javax.security.auth.Subject.doAs(Subject.java:415)
į org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
į org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)
į org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)
į org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)
į org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)
į org.apache.hadoop.ipc.Client.call(Client.java:1382)
Pirmą kartą, patvirtina, kad vartotojo pateikti darbo dabartinį ir galiojantį kerberos bilieto bet tai galite matyti ši klaida net su patvirtinta galiojantį bilietą.
Jei grupės pavadinimas mazgo daug galimybių, reikia konkrečiai, kad RxHadoopMR() ir RxHdfsFileSystem() ragina nurodyti tarnybos pavadinimas mazgo nors nurodęs active pavadinimas mazgo hostname veiks scenarijaus. A kerberized ir HA pavadinimas mazgo aplinkos atveju, kad HDFS_DELEGATION_TOKEN turi atitikti nameservice nuoroda. Klaida anksčiau, žr.:
INFORMACIJOS sauga. TokenCache: Gavo dt, hdfs://nameservice1; Tipo: HDFS_DELEGATION_TOKEN, paslaugos: ha-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN atpažinimo ženklas 242420 a377683
Tokiu atveju RxHadoopMR() ir RxHdfsFileSystem() skambučius nameNode/hostName argumentų turi būti nustatyta į "nameservice1".
