-
Hur kan kunder övervaka deras MR jobb i "http: //xxxxxxx:50030/?" Du kan övervaka mapreduce-jobb på två sätt:
-
Via Hadoop jobtracker URL - ' http:// < jobTrackerhost >: 50030 /' och detaljerat Aktivitetsinformation.
-
Det andra sättet är att titta på jobbet utdatafiler som skapas av revolutionen R i kör mapreduce-jobb. Som standard dessa utdatafiler re tas bort när jobbet körs, men du kan ange alternativet 'autoCleanup = FALSE' när du skapar Hadoop beräkna samband med RxHadoopMR(). Du kan också använda kommandot RevoScaleR 'rxGetJobOutput' att lista hadoop utdata från jobbet körs.
2. kan jag kontrollera antalet mapper och minska aktiviteter i min kod körs via RxHadoopMR()?
Vi la en valfri parameter till RxHadoopMR() som kallas hadoopSwitches. Detta argument kan du ange eventuella kommandoradsväxlar för allmän Hadoop. Till exempel om du vill ange en kö för att köra jobbet kan du göra:
hadoopSwitches = "-Dmapred.job.queue.name=default"
Flera växlar kan anges genom att avgränsa dem med ett blanksteg, precis som du skulle göra på en kommandorad.
Begränsa antalet mappers i MapReduce är lite knepigt. Den grundläggande regeln är att antalet karta aktiviteter är lika med antalet ingående delar. Om din indatafiler "icke delbara", t ex vissa typer av komprimerade filer, motsvarar antalet ingående delar antalet indatafiler. De enskilda filerna i en sammansatt XDF är icke delbara. Å andra sidan, om filen är delbara är till exempel en CSV-fil och sedan FileInputFormat dela upp filen i delar nära HDFS blockstorlek, vanligtvis 128 MB. Om du har en mycket stor CSV-fil eller filer (t.ex. 10 TB) och inte vill att alltför många mappa aktiviteter kan du ange mapred.min.split.size till ett stort antal, och därigenom få större input delningar och färre karta aktiviteter. Detta kan ställas in med hjälp av argumentet hadoopSwitches. Nackdelen med detta trick är att du kan offra data ort. Om du vill att stora delar och data plats måste du öka HDFS blockstorlek. Det finns lite mer info på denna sida: http://wiki.apache.org/hadoop/HowManyMapsAndReduces
Du kan direkt ange antalet karta aktiviteter med rxExec () timesToRun och taskChunkSize argument för HPC jobb (dvs. rxExec()). Antal karta aktiviteter kommer blir lika med:
timesToRun / taskChunkSize.
3. är det möjligt att anropa/skapa anpassade mapparen Reducer funktionen i RevoScaleR /?
De är några sätt att göra detta:
-
Använd 'rxExec()': du kan distribuera och köra godtycklig kod R parallellt - skulle detta förutsätter att du redan har skapat en Hadoop beräkna kontext med 'RxHadoopMR()'.
-
Om du har en RxHadoopMR() beräkna kontexten har redan definierats kan du använda funktionen rxDataStep() för att anropa en funktion 'Reducer'
data i HDFS - kan rxDataStep() du också kontakta en godtycklig R-funktion via argumentet 'transformFunc'.
-
Använd 'rmr'-paket som är en del av RHadoop.
4. för att komma åt 'Struktur/HBase' har du några specifika paket eller är det ok att använda 'RHBase'-paketet?
RevoScaleR innehåller inte alla funktioner som är specifika för struktur/HBase - du kan använda RHBase-paketet för att komplettera andra R funktionen som finns i RevoScaleR. Om du har en drivrutin som har installerats för HBase som du kan använda funktionen RxOdbcData() för att importera data och köra SQL-frågor mot data som lagras i HBase. Ta en titt på RevoScaleR ODBC Data Import/Export-guiden specifik information om hur du importerar data via ODBC.
http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
