Sign in with Microsoft
Sign in or create an account.

У Hadoop/Revolution R корпоративному середовищі може не mapreduce роботу, за винятком Java залежні від kerberos:

Налаштування параметрів:
02/15/03 16:59:05 ПОПЕРЕДЖАТИ util. NativeCodeLoader: Не вдалося завантажити native, hadoop бібліотеки для вашої платформи,... використанням вбудовані java та класи необхідності
НАЛАГОДЖЕННЯ: allArgs = [-Dmapred.reduce.tasks=1 /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input, /user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/IRO.iro, /user/RevoShare/a377683/AirlineDemoSmall / *, dojo3m20002.rtp1.hadoop.fmr.com, 8020, /usr/bin/Revoscript]
02/15/03 16:59:09 INFO hdfs. DFSClient: Створено HDFS_DELEGATION_TOKEN маркер 242420, для a377683 га-hdfs:nameservice1
02/15/03 16:59:09 відомості про безпеку. TokenCache:, Є dt для hdfs://nameservice1; Тип: HDFS_DELEGATION_TOKEN, служба: га-hdfs:nameservice1, Ident: (маркер HDFS_DELEGATION_TOKEN 242420 для a377683)

......

02/15/03 16:59:25 інформація mapreduce. Завдання: карта 0%, зменшити 0%
02/15/03 16:59:38 INFO mapreduce. Завдання: Завдання з ідентифікатором: attempt_1422647534016_1760_m_000000_0, стан: не вдалося
Помилка: java.io.IOException: R VM, що вийшов із код завершення: 1, вихід:
Запуск сценарію
[1] TRUE
$fileName 
[1] NA
$start 
[1] 0
$length 
[1] 0
02/15/03 16:59:37 ПОПЕРЕДЖАТИ безпеки. UserGroupInformation: PriviledgedActionException як: a377683 (auth:KERBEROS) cause:javax.security.sasl.SaslException: GSS ініціювати, не вдалося [викликано GSSException: не дійсні облікові дані, що надаються (механізм рівень: не вдалося знайти будь-які tgt, Kerberos)]
02/15/03 16:59:37 ПОПЕРЕДЖАТИ ipc. Клієнт: Виняток, під час підключення до сервера: javax.security.sasl.SaslException: GSS ініціювати, не вдалося [викликано GSSException: не дійсні облікові дані, що надаються (механізм рівень: не вдалося знайти будь-які tgt, Kerberos)]
02/15/03 16:59:37 ПОПЕРЕДЖАТИ безпеки. UserGroupInformation: PriviledgedActionException як: a377683 (auth:KERBEROS) cause:java.io.IOException: javax.security.sasl.SaslException: GSS ініціювати, не вдалося [викликано GSSException: не дійсні облікові дані, що надаються (механізм рівень: не вдалося знайти будь-які tgt, Kerberos)]
hdfsOpenFile(/user/RevoShare/a377683/EE594B467CDE4C988C3C3F7AF563DABB/.input): FileSystem#open((Lorg/apache/hadoop/fs/Path;I)Lorg/apache/hadoop/fs/FSDataInputStream;) помилка:
java.io.IOException: не вдається місцевих винятку: java.io.IOException: javax.security.sasl.SaslException: GSS ініціювати, не вдалося [викликано GSSException: не дійсні облікові дані, що надаються (механізм рівень: не вдалося знайти будь-які tgt, Kerberos)]; Хост-деталі: локальний хост-це: "< hostname >"; хост-це: "< hostname >": 8020 місць;
на org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
на org.apache.hadoop.ipc.Client.call(Client.java:1415)
на org.apache.hadoop.ipc.Client.call(Client.java:1364)
на org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
на com.sun.proxy.$Proxy14.getBlockLocations (ненадійних джерел)
на org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:246)
на sun.reflect.NativeMethodAccessorImpl.invoke0 (власний метод)
на sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
на sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
на java.lang.reflect.Method.invoke(Method.java:606)
на org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
на org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
на com.sun.proxy.$Proxy15.getBlockLocations (ненадійних джерел)
на org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1179)
на org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1169)
на org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1159)
на org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:270)
на org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:237)
org.apache.hadoop.hdfs.DFSInputStream. < ініціалізації > (DFSInputStream.java:230)
на org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1457)
на org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:301)
на org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:297)
на org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
на org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:297)
Спричинив, за: java.io.IOException: javax.security.sasl.SaslException: GSS ініціювати, не вдалося [викликано GSSException: не дійсні облікові дані, що надаються (механізм рівень: не вдалося знайти будь-які tgt, Kerberos)]
на org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:679)
на java.security.AccessController.doPrivileged (власний метод)
на javax.security.auth.Subject.doAs(Subject.java:415)
на org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
на org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)
на org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)
на org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)
на org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)
на org.apache.hadoop.ipc.Client.call(Client.java:1382)

По-перше, переконайтеся, що користувач подання робота має квиток kerberos для поточного й дійсного, але можна побачити, ця проблема, навіть при підтверджено дійсний квиток.

Кластера, налаштовані на ім'я вузла високий рівень доступності, необхідно точно в полі RxHadoopMR(), і RxHdfsFileSystem(), що викликає сценарію вказати служби імен вузлів, хоча, вказавши ім'я хоста активний ім'я вузла також буде працювати. У випадку kerberized і найвищої гарантії ім'я вузла середовищі на HDFS_DELEGATION_TOKEN, має відповідати nameservice посилання. Помилка вище див.:

Відомості про безпеку. TokenCache:, Є dt для hdfs://nameservice1; Тип: HDFS_DELEGATION_TOKEN, служба: га-hdfs:nameservice1, Ident: (HDFS_DELEGATION_TOKEN маркера 242420 для a377683

У цьому випадку nameNode/ім'я хоста аргументів RxHadoopMR() і RxHdfsFileSystem() викликів слід установити "nameservice1".

Потрібна додаткова довідка?

Отримуйте нові функції раніше за інших
Приєднатися до Microsoft оцінювачів

Ця інформація корисна?

Наскільки ви задоволені якістю мови?
Що вплинуло на ваші враження?

Дякуємо за відгук!

×