MapR 4.0.1: Revolution R darbu neizdodas segfault

MapR 4.0.1 klasterī Revolution R mapreduce darbi, iespējams, neizdodas kļūdas dēļ:

2015-02-13 08:00:37, 657 FATAL [IPC servera apdarinātājs 2 uz 52243] org.apache.hadoop.mapred.TaskAttemptListenerImpl: uzdevums: attempt_1423734868663_0289_m_000000_0 - izgājis: java.io.IOException: R VM izgājis ar izejas kodu: 1 izvade:
sākuma skriptu
[1] SPĒKĀ
$fileName 
[1] NA
$start 
[1] 0
$length 
[1] 0
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55] 
/lib64/libpthread.so.0[0x30cec0f710] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b] 
/lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739] 
Segmentēšana kļūmi.

pēc com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)
pēc com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)
pēc com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)
pie org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)
pie org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)
pie org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)
pēc java.security.AccessController.doPrivileged (vietējā metode)
pēc javax.security.auth.Subject.doAs(Subject.java:415)
pēc org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)
pie org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)

MapR 4.0.1 platformās, tā izmantojot nepareizi libhdfs.so bibliotēku Revolution R uzņēmuma vidē konfigurācijas dēļ.

Lai novērstu šo problēmu, apstipriniet uz klasteriem MapR 4.0.1 Revolution R 7.3 ir veikti pēc uzstādīšanas konfigurācijas šādi:

"Klienta" mezglā, izveidot vietējā sistēmā katram lietotājam koplietojamo direktoriju:

1. sudo mkdir -p /var/RevoShare/mapr
3. chmod 777 /var/RevoShare/mapr
4. pievienot. /usr/lib64/revo-7.3/Scripts/RevoHadoopEnvVars.site /home/mapr/.bash_profile

KATRA darbinieka mezglā, veikt šādas izmaiņas:

# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 
# mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save



Revolution R instalēšana automātiski izveido saiti uz scaleR hadoop-0.1 SNAPSHOT.jar $HADOOP_HOME/bibliotēka. Tomēr tas ir nepareizi directory (ziņots kļūdas) un fails ir saistīta vai kopēt /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/.

Saites /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 nodrošinās, ka pareizi libhdfs.so atrodas Revolution r. Trešā darbība ir nepieciešams, lai pārvietotu problēmu libhdfs.so malā.

Vai nepieciešama papildu palīdzība?

Paplašiniet savas prasmes
Iepazīties ar apmācību
Esiet pirmais, kas saņem jaunās iespējas
Pievienoties Microsoft Insider

Vai šī informācija bija noderīga?

Paldies par jūsu atsauksmēm!

Paldies par atsauksmēm! Šķiet, ka jums varētu būt noderīgi sazināties ar kādu no mūsu Office atbalsta speciālistiem.

×