חל על
Revolution Analytics

באשכול MapR 4.0.1, משימות mapreduce R מהפכת עלולות להיכשל עם השגיאה:

2015-02-13 08:00:37, org.apache.hadoop.mapred.TaskAttemptListenerImpl שגיאה מכרעת [המטפל שרת IPC 2 ב- 52243] 657: פעילות: attempt_1423734868663_0289_m_000000_0 - ביצע יציאה: java.io.IOException: R VM ביצע יציאה עם קוד יציאה: 1, פלט:הפעלת קובץ scriptאמת [1]$fileName [1] NA$start [1] 0$length [1] 0/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e] /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628] /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55] /lib64/libpthread.so.0[0x30cec0f710] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b] /lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739] פילוח תקלה.ב- com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)ב- com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)ב- com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)ב- org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)ב- org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)ב- org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)ב- java.security.AccessController.doPrivileged (שיטה מקורית)ב- javax.security.auth.Subject.doAs(Subject.java:415)ב- org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)ב- org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)

בפלטפורמות MapR 4.0.1, דבר זה נובע תצורת סביבת הארגון R מהפכה שימוש בספריית libhdfs.so שגוי.כדי לעקוף הבעיה, אשר שבשלבים הבאים תצורה לאחר התקנה שנדרש עבור 7.3 R מהפכת לפי אשכולות MapR 4.0.1:בצומת 'לקוח', צור את הספריה המשותפת מקורי של מערכת הקבצים עבור כל משתמש:1. /var/RevoShare/mapr -p mkdir sudo3. chmod 777 /var/RevoShare/mapr4. הוסף. /usr/lib64/Revo-7.3/scripts/RevoHadoopEnvVars.site /home/mapr/.bash_profileכל צומת העובד, לבצע את השינויים הבאים:

# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 # mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save

ההתקנה של R מהפכת יוצר באופן אוטומטי קישור scaleR-hadoop-0.1-SNAPSHOT.jar ב- $HADOOP_HOME/lib. עם זאת, זוהי הספריה שגוי (באג דיווחו) ואת הקובץ שיש מקושר או להעתיק ב- /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/.קישור /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so ב /usr/lib64 תבטיח libhdfs.so המתאים נמצא על-ידי מהפכה r. בשלב השלישי יש צורך להעביר את libhdfs.so בעיה שלא יפריע.

זקוק לעזרה נוספת?

מעוניין באפשרויות נוספות?

גלה את יתרונות המנוי, עיין בקורסי הדרכה, למד כיצד לאבטח את המכשיר שלך ועוד.