Galat internal: Tidak dapat me-reset hdfs internal params saat tersambung ke sistem berkas hdfs

Masalah yang ditemukan di Cloudera CDH4, namun dapat diterapkan untuk versi Hadoop yang didukung.

Ketika menjalankan skrip Hadoop dalam konteks "lokal" hasil yang dihasilkan, tetapi ketika berjalan dalam konteks hadoop menunjukkan berikut galat:

"Galat internal: tidak dapat me-reset hdfs internal params saat tersambung ke sistem berkas hdfs."

Kemungkinan penyebabnya:

1. - Anda baik tidak menetapkan opsi 'nameNode' dengan benar di perintah RxHdfsFileSystem() atau Anda menggunakan nomor port yang salah untuk HDFS fungsi yang sama.

Jika Anda menjalankan bentuk kode EdgeNode, pastikan bahwa pengaturan untuk 'host' adalah nama sebenarnya nameNode dan tidak hostname edgenode Anda menjalankan dari.

Selain itu, periksa Cloudera manajer dan verifikasi bahwa layanan HDFS menggunakan port 8020, default port. Jika sedang berjalan pada port yang berbeda, Anda harus secara eksplisit menetapkan bahwa panggilan berikut di Hadoop Anda menguji skrip:

(Misalnya)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (nama host = myNameNode, port = myPort)

2. - jika menetapkan edge node Anda harus menentukan nama host yang sama dan pengaturan RxHadoopMR() dan RxHdfsFileSystem() port

3.-Pastikan bahwa Anda telah menyalin RevoScaleR jar file dari direktori di mana Anda meluncurkan installer revolusi (Revolusi folder),

scaleR hadoop 0.1 SNAPSHOT.jar ke direktori lib Cloudera Hadoop, yang biasanya:

/opt/cloudera/parcels/CDH/lib/hadoop/lib (untuk paket) atau

/usr/lib/hadoop/lib/ 

File ini perlu disalin ke folder ini di semua node cluster Hadoop Anda.

Setelah mengubah beberapa parameter ini, jalankan lagi skrip yang awalnya menunjukkan galat.

Jika kesalahan tetap ada, hubungi dukungan teknis untuk pemecahan masalah lebih.