Применяется к
Revolution Analytics

В среде предприятия R Hadoop/революции задания mapreduce может завершиться сбоем с проверкой подлинности kerberos исключение Java:

Настройка параметров:15/02/03 16:59:05 ПРЕДУПРЕЖДАТЬ файлами util. NativeCodeLoader: Не удается загрузить библиотеку собственных hadoop для вашей платформы... builtin java с помощью классов там, где это применимоОтладка: allArgs = [-Dmapred.reduce.tasks=1, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]15/02/03 16:59:09 INFO hdfs. DFSClient: Создать маркер HDFS_DELEGATION_TOKEN 242420 для a377683 для ха-hdfs:nameservice115/02/03 16:59:09 сведения о безопасности. TokenCache: Есть dt для hdfs://nameservice1; Тип: HDFS_DELEGATION_TOKEN, служба: ха-hdfs:nameservice1, идентификатор —: (маркер HDFS_DELEGATION_TOKEN 242420 для a377683)......15/02/03 16:59:25 INFO mapreduce. Задание: карта 0% снизить 0%15/02/03 16:59:38 INFO mapreduce. Задание: Идентификатор задачи: attempt_1422647534016_1760_m_000000_0, состояние: сбойОшибка: java.io.IOException: R VM завершил работу с кодом завершения: 1, выход:Запуск сценария[1] ЗНАЧЕНИЕ TRUE$fileName [1] NA$start [1] 0$length [1] 015/02/03 16:59:37 ПРЕДУПРЕЖДАТЬ безопасности. UserGroupInformation: PriviledgedActionException как: a377683 cause:javax.security.sasl.SaslException (auth:KERBEROS): инициирование GSS сбой [вызвано GSSException: не допустимые учетные данные, предоставленные (уровень механизм: не удалось найти любой tgt Kerberos)]15/02/03 16:59:37 ПРЕДУПРЕЖДАТЬ ipc. Клиент: Исключение при подключении к серверу: javax.security.sasl.SaslException: сбой инициирование GSS [вызвано GSSException: не допустимые учетные данные, предоставленные (уровень механизм: не удалось найти любой tgt Kerberos)]15/02/03 16:59:37 ПРЕДУПРЕЖДАТЬ безопасности. UserGroupInformation: PriviledgedActionException как: a377683 cause:java.io.IOException (auth:KERBEROS): javax.security.sasl.SaslException: инициирование GSS сбой [вызвано GSSException: не допустимые учетные данные, предоставленные (уровень механизм: не удалось найти любой tgt Kerberos)]hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): ошибка FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;):java.io.IOException: не удалось на локальные исключения: java.io.IOException: javax.security.sasl.SaslException: инициирование GSS сбой [вызвано GSSException: не допустимые учетные данные, предоставленные (уровень механизм: не удалось найти любой tgt Kerberos)]; Сведений хоста: локальный узел является: «< имя >»; целевой узел является: «< имя >»: 8020;в org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)в org.apache.hadoop.ipc.Client.call(Client.java:1415)в org.apache.hadoop.ipc.Client.call(Client.java:1364)в org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)в com.sun.proxy.$Proxy14.getBlockLocations (Неизвестный источник)в org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод)в sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)в sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)в java.lang.reflect.Method.invoke(Method.java:606)в org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)в org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)в com.sun.proxy.$Proxy15.getBlockLocations (Неизвестный источник)в org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)в org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)в org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)в org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)в org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)org.apache.hadoop.hdfs.DFSInputStream. < init > (DFSInputStream.java:230)в org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)в org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)в org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)в org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)в org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)Произошла по: java.io.IOException: javax.security.sasl.SaslException: сбой инициирование GSS [вызвано GSSException: не допустимые учетные данные, предоставленные (уровень механизм: не удалось найти любой tgt Kerberos)]в org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)в java.security.AccessController.doPrivileged (собственный метод)в javax.security.auth.Subject.doAs(Subject.java:415)в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)в org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)в org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)в org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)в org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)в org.apache.hadoop.ipc.Client.call(Client.java:1382)

Во-первых убедитесь, что пользователя, отправившего задание имеет билет kerberos устарели или не действуют, но это можно просмотреть ошибки даже с подтвержденной действительный билет.Если кластер настроен для высокой доступности имени узла, необходимо конкретно в RxHadoopMR() и RxHdfsFileSystem() вызывает сценария, чтобы указать имя службы узла, хотя Указание имени узла имя активного узла также будет работать. В случае с поддержкой сервера Kerberos и HA имя узла среде HDFS_DELEGATION_TOKEN должен соответствовать nameservice ссылки. В приведенном выше ошибки см.

Сведения о безопасности. TokenCache: Есть dt для hdfs://nameservice1; Тип: HDFS_DELEGATION_TOKEN, служба: ха-hdfs:nameservice1, идентификатор —: (HDFS_DELEGATION_TOKEN маркер 242420 a377683

В данном случае «nameservice1» должно быть присвоено аргументы nameNode/имя хоста в вызовы RxHadoopMR() и RxHdfsFileSystem().

Нужна дополнительная помощь?

Нужны дополнительные параметры?

Изучите преимущества подписки, просмотрите учебные курсы, узнайте, как защитить свое устройство и т. д.