Di kluster MapR 4.0.1, R revolusi mapreduce pekerjaan mungkin gagal dengan galat:

2015-02-13 08:00:37, 657 FATAL [IPC Server handler 2 pada 52243] org.apache.hadoop.mapred.TaskAttemptListenerImpl: tugas: attempt_1423734868663_0289_m_000000_0 - keluar: java.io.IOException: R VM keluar dengan kode keluar: 1, output:mulai script[1] BENAR$fileName [1] NA$start [1] 0$length [1] 0/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e] /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628] /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55] /lib64/libpthread.so.0[0x30cec0f710] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b] /lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d] /usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739] Segmentasi kesalahan.di com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)pada com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)pada com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)di org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)di org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)di org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)di java.security.AccessController.doPrivileged (metode asli)di javax.security.auth.Subject.doAs(Subject.java:415)di org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)di org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)

Pada platform MapR 4.0.1, hal ini disebabkan oleh konfigurasi lingkungan revolusi R perusahaan menggunakan perpustakaan libhdfs.so salah.Untuk mengatasi masalah, mengkonfirmasi konfigurasi pasca penginstalan langkah-langkah berikut telah diambil untuk revolusi R 7.3 di kluster MapR 4.0.1:Pada simpul "klien", membuat direktori berbagi file sistem asli untuk setiap pengguna:1. sudo mkdir -p /var/RevoShare/mapr3. chmod 777 /var/RevoShare/mapr4. Tambahkan. /usr/lib64/Revo-7.3/Scripts/RevoHadoopEnvVars.site untuk /home/mapr/.bash_profilePada setiap node pekerja, buat perubahan berikut:

# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 # mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save

Penginstalan revolusi R secara otomatis membuat tautan ke scaleR hadoop 0.1 SNAPSHOT.jar di $HADOOP_HOME/lib. Namun, ini adalah salah direktori (bug yang telah dilaporkan) dan berkas harus terhubung atau disalin di /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/.Menautkan /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so di /usr/lib64 akan memastikan bahwa libhdfs.so tepat ditemukan oleh revolusi R. Langkah ketiga diperlukan untuk memindahkan libhdfs.so masalah keluar dari jalan.

Perlu bantuan lainnya?

Ingin opsi lainnya?

Jelajahi manfaat langganan, telusuri kursus pelatihan, pelajari cara mengamankan perangkat Anda, dan banyak lagi.

Komunitas membantu Anda bertanya dan menjawab pertanyaan, memberikan umpan balik, dan mendengar dari para ahli yang memiliki pengetahuan yang luas.