Vzťahuje sa na
Revolution Analytics

V prostredí podniku Nobotto Revolution/R mapreduce prácu môže zlyhať s výnimkou Java modul Kerberos:

Nastavenie možností:15/02/03 16:59:05 WARN util. NativeCodeLoader: Nemožno načítať knižnicu native Nobotto na platforme... pomocou vstavaný java triedy, prípadneLADENIE: allArgs = [-Dmapred.reduce.tasks=1 /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]15/02/03 16:59:09 hdfs informácie. DFSClient: Vytvorí HDFS_DELEGATION_TOKEN token 242420 a377683 na ha-hdfs:nameservice115/02/03 16:59:09 INFO zabezpečenia. TokenCache: Mám dt pre hdfs://nameservice1; Typ: HDFS_DELEGATION_TOKEN, Služba: ha-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN token 242420 a377683)......15/02/03 16:59:25 mapreduce informácie. Úloha: Mapa 0% znížiť 0%15/02/03 16:59:38 mapreduce informácie. Úlohy: Identifikácia úlohy: attempt_1422647534016_1760_m_000000_0, stav: zlyhalaChyba: java.io.IOException: R VM skončili s výstupný kód: 1, výstup:spustenie skriptu[1] PLATÍ$fileName [1] NA$start [1] 0$length [1] 015/02/03 16:59:37 WARN zabezpečenia. UserGroupInformation: PriviledgedActionException ako: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS začať nepodarilo [spôsobené GSSException: žiadne platné poverenia poskytnuté (mechanizmus úroveň: sa nepodarilo nájsť žiadne Kerberos tgt)]15/02/03 16:59:37 WARN ipc. Klient: Výnimka sa vyskytla počas pripájania na server: javax.security.sasl.SaslException: GSS začať zlyhala [spôsobené GSSException: žiadne platné poverenia poskytnuté (mechanizmus úroveň: Nepodarilo sa nájsť žiadne Kerberos tgt)]15/02/03 16:59:37 WARN zabezpečenia. UserGroupInformation: PriviledgedActionException ako: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS začať nepodarilo [spôsobené GSSException: žiadne platné poverenia poskytnuté (mechanizmus úroveň: sa nepodarilo nájsť žiadne Kerberos tgt)]hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): chyba FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;):java.io.IOException: zlyhala lokálne výnimky: java.io.IOException: javax.security.sasl.SaslException: GSS začať nepodarilo [spôsobené GSSException: žiadne platné poverenia poskytnuté (mechanizmus úroveň: Nepodarilo sa nájsť žiadne Kerberos tgt)]; Host Details: lokálny hostiteľ je: "< hostname >"; cieľového hostiteľa: "< hostname >": 8020;v org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)v org.apache.hadoop.ipc.Client.call(Client.java:1415)v org.apache.hadoop.ipc.Client.call(Client.java:1364)v org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)v com.sun.proxy.$Proxy14.getBlockLocations (neznámeho zdroja)v org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)v sun.reflect.NativeMethodAccessorImpl.invoke0 (natívna metóda)v sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)v sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)v java.lang.reflect.Method.invoke(Method.java:606)v org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)v org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)v com.sun.proxy.$Proxy15.getBlockLocations (neznámeho zdroja)v org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)v org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)v org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)v org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)v org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)org.apache.hadoop.hdfs.DFSInputStream. < inicializácie > (DFSInputStream.java:230)v org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)v org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)v org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)v org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)v org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)Spôsobené: java.io.IOException: javax.security.sasl.SaslException: GSS začať nepodarilo [spôsobené GSSException: žiadne platné poverenia poskytnuté (mechanizmus úroveň: Nepodarilo sa nájsť žiadne Kerberos tgt)]v org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)v java.security.AccessController.doPrivileged (natívna metóda)v javax.security.auth.Subject.doAs(Subject.java:415)v org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)v org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)v org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)v org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)v org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)v org.apache.hadoop.ipc.Client.call(Client.java:1382)

Najprv potvrdiť, že používateľom prácu majú lístok modulu kerberos aktuálne a platné, ale je toto zlyhanie aj s potvrdenú platný lístok.Ak názov uzla vysokej dostupnosti je nakonfigurovaný klastra, je potrebné mať konkrétnu RxHadoopMR() a RxHdfsFileSystem() hovory v skripte zadať názov uzla služby, keď určenia aktívny názov hostiteľa uzol bude pracovať. V prípade kerberized a HA Názov uzla prostredí HDFS_DELEGATION_TOKEN sa musí zhodovať nameservice odkaz. Chyba vidieť:

Informácie zabezpečenia. TokenCache: Mám dt pre hdfs://nameservice1; Typ: HDFS_DELEGATION_TOKEN, Služba: ha-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN token 242420 a377683

V takom prípade nameNode/hostName argumentov RxHadoopMR() a RxHdfsFileSystem() hovory nastavená na "nameservice1".

Potrebujete ďalšiu pomoc?

Chcete ďalšie možnosti?

Môžete preskúmať výhody predplatného, prehľadávať školiace kurzy, naučiť sa zabezpečiť svoje zariadenie a ešte oveľa viac.