Trên một cụm MapR 4.0.1, cách mạng R mapreduce công việc có thể không thành công với lỗi:
2015-02-13 08:00:37, 657 FATAL [IPC Server xử lý 2 trên 52243] org.apache.hadoop.mapred.TaskAttemptListenerImpl: công việc: attempt_1423734868663_0289_m_000000_0 - rời: java.io.IOException: R VM rời với mã thoát: 1, đầu ra:
tập lệnh khởi động
[1] ĐÚNG
$fileName
[1] NA
$start
[1] 0
$length
[1] 0
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e]
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628]
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55]
/lib64/libpthread.so.0[0x30cec0f710]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b]
/lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d]
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739]
Lỗi phân đoạn.
tại com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)
tại com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)
tại com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)
tại org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)
tại org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)
tại org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)
tại java.security.AccessController.doPrivileged (phương pháp riêng)
tại javax.security.auth.Subject.doAs(Subject.java:415)
tại org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)
tại org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)
Trên nền tảng MapR 4.0.1, điều này là do cấu hình môi trường doanh nghiệp R cách mạng bằng cách sử dụng thư viện libhdfs.so sai.
Để khắc phục sự cố, xác nhận các bước sau cài đặt cấu hình sau đây đã được thực hiện đối với cách mạng R 7.3 trên MapR 4.0.1 cụm:
Vào nút "khách hàng", tạo thư mục được chia sẻ hệ thống tập tin riêng cho mỗi người dùng:
1. sudo mkdir -p /var/RevoShare/mapr
3. chmod 777 /var/RevoShare/mapr
4. thêm. /usr/lib64/Revo-7.3/Scripts/RevoHadoopEnvVars.site để /home/mapr/.bash_profile
Trên mỗi nút riêng biệt, hãy thay đổi sau:
# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64
# mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save
Cài đặt cách mạng R sẽ tự động tạo một liên kết đến scaleR hadoop-0.1 SNAPSHOT.jar $HADOOP_HOME/lib. Tuy nhiên, thư mục không đúng (một lỗi đã được báo cáo) và tệp sẽ được liên kết hoặc sao chép /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/.
Liên kết /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so trong /usr/lib64 sẽ đảm bảo đúng libhdfs.so được tìm thấy bằng cách mạng R. Bước thứ ba là cần thiết để di chuyển libhdfs.so vấn đề ra.
