Отнася се за
Revolution Analytics

В Hadoop/Revolution R корпоративна среда mapreduce работа може да е неуспешно с изключение на kerberos, свързани с Java:

Задаване на опции:15/02/03 16:59:05 WARN били из NativeCodeLoader: Не може да зареди native hadoop библиотека за вашата платформа... използват вградени java класове при необходимостОтстраняване на грешки: allArgs = [-Dmapred.reduce.tasks=1, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]15/02/03 16:59:09 информация hdfs. DFSClient: Създава HDFS_DELEGATION_TOKEN маркер 242420 за a377683 на ha-hdfs:nameservice115/02/03 16:59:09 информация за защита. TokenCache: Имам dt за hdfs://nameservice1; Вид: HDFS_DELEGATION_TOKEN, услуги: Ха-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN маркер 242420 за a377683)......15/02/03 16:59:25 mapreduce информация. Работа: намали карта 0 % 0 %15/02/03 16:59:38 mapreduce информация. Работа: Задача Id: attempt_1422647534016_1760_m_000000_0, състояние: НЕУСПЕШНОГрешка: java.io.IOException: R VM приключи с код за изход: 1, изход:стартиране на скрипта[1] TRUE$fileName [1] NA$start [1] 0$length [1] 015/02/03 16:59:37 предупреждение на защитата. UserGroupInformation: PriviledgedActionException като: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS започне неуспешно [причинени от GSSException: предоставени валидни идентификационни данни (ниво механизъм: не успя да намери никакви Kerberos tgt)]15/02/03 16:59:37 ipc предупреждения. Клиент: Изключение при свързване със сървъра: javax.security.sasl.SaslException: GSS започне неуспешно [причинени от GSSException: предоставени валидни идентификационни данни (ниво механизъм: не успя да намери никакви Kerberos tgt)]15/02/03 16:59:37 предупреждение на защитата. UserGroupInformation: PriviledgedActionException като: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS започне неуспешно [причинени от GSSException: предоставени валидни идентификационни данни (ниво механизъм: не успя да намери никакви Kerberos tgt)]hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) грешка:java.io.IOException: Неуспешно на локални изключения: java.io.IOException: javax.security.sasl.SaslException: GSS започне неуспешно [причинени от GSSException: предоставени валидни идентификационни данни (ниво механизъм: не успя да намери никакви Kerberos tgt)]; Множество данни: локален хост е: "< hostname >"; хост на местоназначението е: "< hostname >": 8020;в org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)в org.apache.hadoop.ipc.Client.call(Client.java:1415)в org.apache.hadoop.ipc.Client.call(Client.java:1364)в org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)в com.sun.proxy.$Proxy14.getBlockLocations (неизвестен източник)в org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)в sun.reflect.NativeMethodAccessorImpl.invoke0 (основен метод)в sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)в sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)в java.lang.reflect.Method.invoke(Method.java:606)в org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)в org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)в com.sun.proxy.$Proxy15.getBlockLocations (неизвестен източник)в org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)в org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)в org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)в org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)в org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)org.apache.hadoop.hdfs.DFSInputStream. < първоначален > (DFSInputStream.java:230)в org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)в org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)в org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)в org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)в org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)Причинено от: java.io.IOException: javax.security.sasl.SaslException: GSS започне неуспешно [причинени от GSSException: предоставени валидни идентификационни данни (ниво механизъм: не успя да намери никакви Kerberos tgt)]в org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)в java.security.AccessController.doPrivileged (основен метод)в javax.security.auth.Subject.doAs(Subject.java:415)в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)в org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)в org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)в org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)в org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)в org.apache.hadoop.ipc.Client.call(Client.java:1382)

Първо Уверете се, че потребителят подаване работа има билет от kerberos за текущ и валиден, но е възможно да се види тази грешка дори потвърди валиден билет.Ако клъстера е конфигуриран за име на възел висока наличност, е необходимо да бъдат определени в RxHadoopMR() и RxHdfsFileSystem() разговори в скрипта, за да посочите име възел услугата, въпреки че Задаване на име на активен възел хост ще работи. В случай на kerberized и ха име възел среда HDFS_DELEGATION_TOKEN трябва да съвпадат nameservice препратка. Грешка по-горе вж.

ИНФОРМАЦИЯ за защита. TokenCache: Имам dt за hdfs://nameservice1; Вид: HDFS_DELEGATION_TOKEN, услуги: Ха-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN маркер 242420 за a377683

В този случай трябва да бъде присвоена "nameservice1" nameNode/хост аргументи в RxHadoopMR() и RxHdfsFileSystem() разговори.

Нуждаете ли се от още помощ?

Искате ли още опции?

Разгледайте ползите от абонамента, прегледайте курсовете за обучение, научете как да защитите устройството си и още.