Iekšēja kļūda: Nevar atiestatīt hdfs iekšējā params, savienojuma hdfs failu sistēma

Atrast Cloudera CDH4, bet jebkuru atbalstīto Hadoop versiju jūsu problēmu.

Kad Hadoop skripta "lokālo" kontekstā iegūst rezultātus, bet, ja darbojas hadoop kontekstā tas parāda šādu kļūdu:

"Iekšēja kļūda: nevar atiestatīt hdfs iekšējā params, savienojuma hdfs failu sistēmu."

Iespējamie iemesli:

1. – tiek vai nu nav iestatīta opciju "nameNode" pareizi RxHdfsFileSystem() komandā vai nepareizi porta numuru, kas tiek izmantots HDFS šo pašu funkciju.

Ja izmantojat kodu veidlapā EdgeNode, lūdzu, pārliecinieties, vai iestatījums "hostName" ir faktisko nameNode, nevis edgenode palaižat no resursdatora nosaukumu.

Arī lūdzu, pārbaudiet Cloudera pārvaldnieku un pārbaudiet, vai pakalpojums HDFS izmanto portu 8020, noklusējuma portu. Ja tas darbojas citam portam, jums būs nepieciešams tieši noteikt, jūsu Hadoop izsaukums testa skriptu:

(Piemēram)

myNameNode <-"test1.acme.com"

myPort < - 1 700

hdfsFS <-RxHdfsFileSystem (resursdatora nosaukums = myNameNode port = myPort)

2. gadījumā norādot malas mezglu norādīt vienā resursdatora un porta iestatījumi RxHadoopMR(), gan RxHdfsFileSystem() -

3.-Pārliecinieties, ka šī nokopēti RevoScaleR jar failu direktoriju, kurā uzsāka instalēšanas Revolution (Revolution mape)

scaleR hadoop-0.1 SNAPSHOT.jar Cloudera Hadoop bibliotēka direktoriju, kurā parasti ir:

/opt/Cloudera/Parcels/CDH/lib/Hadoop/lib (tikai pakām) vai

/usr/lib/hadoop/lib/ 

Šim failam ir jābūt Hadoop klastera iekopēti šajā mapē, visos mezglos .

Pēc tam, kad modificējat kādu no šiem parametriem, vēlreiz palaidiet skriptu, kas sākotnēji bija kļūda.

Ja problēma joprojām pastāv, sazinieties ar tehniskā atbalsta padziļinātu problēmu novēršanai.