MapR 4.0.1: Revolution R töö nurjub segfault

MapR 4.0.1 klastri, ei pruugi Revolution R mapreduce'i tööde viga:

2015-02-13 08:00:37, 657 FATAL [IPC Server ohjuri 2 52243] org.apache.hadoop.mapred.TaskAttemptListenerImpl: ülesande: attempt_1423734868663_0289_m_000000_0 - väljunud: java.io.IOException: R VM sulgus välju: 1, väljund:
skripti käivitamine
[1] TRUE
$fileName 
[1] NA
$start 
[1] 0
$length 
[1] 0
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55] 
/lib64/libpthread.so.0[0x30cec0f710] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b] 
/lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739] 
Segmentimine rike.

at com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)
at com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)
at com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)
at org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)
at org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)
at org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)
kell java.security.AccessController.doPrivileged (kohalikud meetod)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)
at org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)

MapR 4.0.1 platvormidel, see on vale libhdfs.so teegi kasutamine Revolution R ettevõtte keskkonnas konfiguratsiooni tõttu.

Probleemi lahendamiseks veenduge pärast installi konfigureerimise järgmiselt võetud Revolution R 7,3 MapR 4.0.1 klastrid:

"Kliendi" sõlme luua kohalikud failisüsteemi ühiskasutusse antud kausta iga kasutaja.

1. sudo mkdir -p /var/RevoShare/mapr
3. chmod 777 /var/RevoShare/mapr
4. lisada. /usr/lib64/Revo-7.3/scripts/RevoHadoopEnvVars.Site /home/mapr/.bash_profile

IGA töötaja sõlme järgmised muudatused:

# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 
# mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save



Revolution R install loob automaatselt link mastaabimuundur Hadoopi-0,1 SNAPSHOT.jar $HADOOP_HOME/lib. Kuid see on vale kataloogi (bug on teatatud) ja fail olla seotud või kopeeritud /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/.

Linkimine /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 tagab, et õige libhdfs.so ei leita Revolution R. Kolmas samm on vaja teisaldada probleemi libhdfs.so ära.

Kas vajate veel abi?

Täiendage oma oskusi
Tutvuge koolitusmaterjalidega
Kasutage uusi funktsioone enne teisi
Liitu Microsofti Insideri programmis osalejad

Kas sellest teabest oli abi?

Kui rahul te tõlkekvaliteediga olete?

Mis mõjutas teie kasutuskogemust?

Kas soovite jagada veel tagasisidet? (Valikuline)

Täname tagasiside eest!

×