Εσωτερικό σφάλμα: Δεν είναι δυνατό να επαναφέρετε hdfs εσωτερικό params ενώ είστε συνδεδεμένοι σε σύστημα αρχείων hdfs

Ζήτημα που βρέθηκε στο Cloudera CDH4, αλλά ισχύει για οποιαδήποτε υποστηριζόμενη έκδοση Hadoop.

Όταν εκτελείτε μια Hadoop δέσμης ενεργειών στα αποτελέσματα "τοπικό" περιβάλλον παραγωγής, αλλά κατά την εκτέλεση στο hadoop περιβάλλον αυτό δείχνει μετά από σφάλμα:

"Εσωτερικό σφάλμα: δεν είναι δυνατό να επαναφέρετε hdfs εσωτερικό params ενώ είστε συνδεδεμένοι σε σύστημα αρχείων hdfs."

Πιθανές αιτίες:

1. - είτε δεν ρυθμίζετε την επιλογή 'nameNode' σωστά με την εντολή RxHdfsFileSystem() ή χρησιμοποιείτε τον αριθμό λάθος θύρα για HDFS σε αυτή την ίδια λειτουργία.

Εάν εκτελείτε τη φόρμα σας κωδικό ενός EdgeNode, βεβαιωθείτε ότι η ρύθμιση 'όνομα κεντρικού υπολογιστή' είναι το πραγματικό όνομα του nameNode και ΌΧΙ το όνομα κεντρικού υπολογιστή του τα edgenode που εκτελούνται από.

Επίσης, ελέγξτε τη Διαχείριση Cloudera και βεβαιωθείτε ότι η υπηρεσία HDFS χρησιμοποιεί θύρα '8020', η προεπιλεγμένη θύρα. Εάν εκτελείται σε διαφορετική θύρα, πρέπει να ορίσετε ρητά που η ακόλουθη κλήση σε σας Hadoop δοκιμή δέσμης ενεργειών:

(Για παράδειγμα)

myNameNode <-"test1.acme.com"

myPort < - 1700

hdfsFS <-RxHdfsFileSystem (όνομα κεντρικού υπολογιστή = myNameNode, θύρα = myPort)

2. - σε περίπτωση καθορίζοντας έναν ακραίο κόμβο, πρέπει να καθορίσετε το ίδιο όνομα κεντρικού υπολογιστή και θύρας ρυθμίσεων RxHadoopMR() και RxHdfsFileSystem()

3.-Βεβαιωθείτε ότι έχετε αντιγράψει γυάλα RevoScaleR αρχείου από τον κατάλογο στον οποίο ξεκίνησε το πρόγραμμα εγκατάστασης επανάσταση (επανάσταση φάκελο),

scaleR-hadoop-0,1-SNAPSHOT.jar στον κατάλογο Cloudera Hadoop βιβλιοθήκη, που συνήθως είναι:

/opt/cloudera/parcels/CDH/lib/hadoop/lib (για τα αγροτεμάχια) ή

/usr/lib/hadoop/lib/ 

Αυτό το αρχείο πρέπει να αντιγραφεί σε αυτόν το φάκελο σε ΌΛΟΥΣ τους κόμβους του συμπλέγματος Hadoop.

Μετά την τροποποίηση οποιαδήποτε από αυτές τις παραμέτρους, εκτελέστε ξανά τη δέσμη ενεργειών που αρχικά προέκυψε το σφάλμα.

Εάν το σφάλμα επιμείνει, επικοινωνήστε με την τεχνική υποστήριξη, για μια βαθύτερα αντιμετώπισης προβλημάτων.