Trên một cụm MapR 4.0.1, cách mạng R mapreduce công việc có thể không thành công với lỗi:

2015-02-13 08:00:37, 657 FATAL [IPC Server xử lý 2 trên 52243] org.apache.hadoop.mapred.TaskAttemptListenerImpl: công việc: attempt_1423734868663_0289_m_000000_0 - rời: java.io.IOException: R VM rời với mã thoát: 1, đầu ra:
tập lệnh khởi động
[1] ĐÚNG
$fileName 
[1] NA
$start 
[1] 0
$length 
[1] 0
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55] 
/lib64/libpthread.so.0[0x30cec0f710] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b] 
/lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739] 
Lỗi phân đoạn.

tại com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)
tại com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)
tại com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)
tại org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)
tại org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)
tại org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)
tại java.security.AccessController.doPrivileged (phương pháp riêng)
tại javax.security.auth.Subject.doAs(Subject.java:415)
tại org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)
tại org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)

Trên nền tảng MapR 4.0.1, điều này là do cấu hình môi trường doanh nghiệp R cách mạng bằng cách sử dụng thư viện libhdfs.so sai.

Để khắc phục sự cố, xác nhận các bước sau cài đặt cấu hình sau đây đã được thực hiện đối với cách mạng R 7.3 trên MapR 4.0.1 cụm:

Vào nút "khách hàng", tạo thư mục được chia sẻ hệ thống tập tin riêng cho mỗi người dùng:

1. sudo mkdir -p /var/RevoShare/mapr
3. chmod 777 /var/RevoShare/mapr
4. thêm. /usr/lib64/Revo-7.3/Scripts/RevoHadoopEnvVars.site để /home/mapr/.bash_profile

Trên mỗi nút riêng biệt, hãy thay đổi sau:

# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 
# mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save



Cài đặt cách mạng R sẽ tự động tạo một liên kết đến scaleR hadoop-0.1 SNAPSHOT.jar $HADOOP_HOME/lib. Tuy nhiên, thư mục không đúng (một lỗi đã được báo cáo) và tệp sẽ được liên kết hoặc sao chép /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/.

Liên kết /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so trong /usr/lib64 sẽ đảm bảo đúng libhdfs.so được tìm thấy bằng cách mạng R. Bước thứ ba là cần thiết để di chuyển libhdfs.so vấn đề ra.

Bạn cần thêm trợ giúp?

Phát triển các kỹ năng của bạn
Khám phá nội dung đào tạo
Sở hữu tính năng mới đầu tiên
Tham gia Microsoft dùng nội bộ

Thông tin này có hữu ích không?

Bạn hài lòng đến đâu với chất lượng dịch thuật?
Điều gì ảnh hưởng đến trải nghiệm của bạn?

Cảm ơn phản hồi của bạn!

×