MapR 4.0.1: Revolutie R taak mislukt met segfault

Op een cluster MapR 4.0.1 mislukken revolutie R mapreduce taken met de fout:

13-02-2015 08:00:37, 657 onherstelbare fout [IPC Server handler 2 op 52243] org.apache.hadoop.mapred.TaskAttemptListenerImpl: taak: attempt_1423734868663_0289_m_000000_0 - afgesloten: java.io.IOException: R VM is afgesloten met de afsluitcode: 1, uitvoer:
begin script
[1] WAAR
$fileName 
[1] NB
$start 
[1] 0
$length 
[1] 0
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_Z21CriticalSignalHandleri+0x1e)[0x7fe02d3d423e] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(+0x7e2628)[0x7fe0282f8628] 
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.71.x86_64/jre/lib/amd64/server/libjvm.so(JVM_handle_linux_signal+0x95)[0x7fe0282fea55] 
/lib64/libpthread.so.0[0x30cec0f710] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZNK10CxAnalysis19HaveWriteDataSourceEv+0x0)[0x7fe02acbc280] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libExaCore.so.2(_ZN10CxAnalysis18GetWriteDataSourceEv+0x9)[0x7fe02acbcb49] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z19RxComputeHadoopTaskR11RListObjectR11RxAllocator+0x3b3)[0x7fe02e2a5d23] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(_Z10RxUtilBaseP7SEXPREC+0x6db)[0x7fe02e2b2fab] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/library/RevoScaleR/rxLibs/x64/libRxLink.so.2(RxUtil+0x34)[0x7fe02e2b3f14] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0x9f36b)[0x7fe04083536b] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_eval+0x871)[0x7fe04086be91] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(Rf_ReplIteration+0x212)[0x7fe0408946a2] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(+0xfea59)[0x7fe040894a59] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/lib/libR.so(run_Rmainloop+0x44)[0x7fe040894f64] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R(main+0x1b)[0x40084b] 
/lib64/libc.so.6(__libc_start_main+0xfd)[0x30ce41ed5d] 
/usr/lib64/Revo-7.3/R-3.1.1/lib64/R/bin/exec/R[0x400739] 
Segmentatie fout.

op com.revolutionanalytics.scaleR.hadoop.Rscript.waitFor(Rscript.java:103)
op com.revolutionanalytics.scaleR.hadoop.Rscript.run(Rscript.java:59)
op com.revolutionanalytics.scaleR.hadoop.RDelegatingMapper.run(RDelegatingMapper.java:73)
bij org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:773)
bij org.apache.hadoop.mapred.MapTask.run (MapTask.java:345)
bij org.apache.hadoop.mapred.YarnChild$2.run (YarnChild.java:167)
bij java.security.AccessController.doPrivileged (eigen methode)
op javax.security.auth.Subject.doAs(Subject.java:415)
op org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1469)
bij org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:162)

Dit is op MapR 4.0.1 platforms, aan de revolutie R Enterprise omgeving configuratie met de verkeerde libhdfs.so-bibliotheek.

U kunt het probleem omzeilen, bevestig dat de volgende configuratie na de installatie stappen zijn ondernomen voor revolutie R 7.3 op MapR 4.0.1 clusters:

Maak de native filesystem gedeelde map voor elke gebruiker op het knooppunt 'client':

1. sudo mkdir -p /var/RevoShare/mapr
3. type chmod 777 /var/RevoShare/mapr
4. toevoegen. /usr/lib64/Revo-7.3/scripts/RevoHadoopEnvVars.site met /home/mapr/.bash_profile

Op elk knooppunt werknemer de volgende wijzigingen aanbrengen:

# cp scaleR-hadoop-0.1-SNAPSHOT.jar /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ # ln -s /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so /usr/lib64 
# mv /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so /opt/mapr/hadoop/hadoop-2.4.1/lib/native/libhdfs.so.save



De installatie van de revolutie R maakt automatisch een koppeling naar scaleR hadoop-0,1 SNAPSHOT.jar in $HADOOP_HOME/lib. Echter, is dit de verkeerde map (een fout gerapporteerd) en het bestand moet worden gekoppeld aan of in de /opt/mapr/hadoop/hadoop-2.4.1/share/hadoop/common/lib/ gekopieerd.

Koppelen van /opt/mapr/hadoop/hadoop-0.20.2/c++/Linux-amd64-64/lib/libhdfs.so in /usr/lib64 zorgt ervoor dat de juiste libhdfs.so wordt gevonden door R. revolutie De derde stap is nodig om de libhdfs.so van het probleem uit de weg gaan.

Meer hulp nodig?

Uw vaardigheden uitbreiden
Training verkennen
Als eerste nieuwe functies krijgen
Deelnemen aan Microsoft insiders

Was deze informatie nuttig?

Bedankt voor uw feedback.

Hartelijk dank voor uw feedback! Het lijkt ons een goed idee om u in contact te brengen met een van onze Office-ondersteuningsagenten.

×