-
Wie können Kunden ihre HERR überwachen Aufträge ' http: //xxxxxxx:50030/? " Überwachen Sie Mapreduce Aufträge auf zwei Arten:
-
Hadoop Jobtracker URL - "http:// < JobTrackerhost >: 50030 /' und Drilldown zu Aufgabendetails.
-
Umgekehrt wäre sich Auftrag Ausgabedateien erstellt von Revolution R Mapreduce-Job ausführen. Standardmäßig diese Ausgabedateien erneut nach der Ausführung des Auftrags gelöscht, aber Sie können die Option 'AutoCleanup = FALSE' beim Erstellen von RxHadoopMR() mit Hadoop Compute-Kontext. Sie können auch den Befehl RevoScaleR 'RxGetJobOutput' Hadoop Ausgabe des Auftrags aufgelistet.
2 kann Anzahl die der Mapper und reduzieren Aufgaben ausführen von Code über RxHadoopMR()?
Kürzlich haben wir einen optionalen Parameter namens HadoopSwitchesRxHadoopMR(). Mit diesem Argument können Sie generischen Hadoop Befehlszeilenoptionen angeben. Beispielsweise können zum Angeben einer Warteschlange um den Auftrag auszuführen, auf Sie dazu:
HadoopSwitches = "-Dmapred.job.queue.name=default"
Mehrere Switches können festgelegt werden, indem durch ein Leerzeichen trennen nur wie in einer Befehlszeile.
Die Anzahl der Mapper in MapReduce ist etwas kompliziert. Die Grundregel ist, dass die Anzahl der Karte Aufgaben die Anzahl der Eingabe teilt entspricht. Wenn Ihre Dateien "nicht aufteilbar", z.B. komprimierter Dateien sind, entspricht der Anzahl der Eingabe teilt die Anzahl der Dateien. Einzelnen Dateien innerhalb eines zusammengesetzten XDF sind nicht aufteilbar. Auf der anderen Seite wird Ihre Datei teilbar ist beispielsweise eine CSV-Datei und FileInputFormat Teilen der Datei in Blöcken nah an die Blockgröße bietet in der Regel 128 MB. Wenn Sie eine sehr große CSV-Datei Dateien (z. B. 10 TB oder) und wollen nicht zu viele Aufgaben zuordnen, können Sie zahlreiche dabei immer größeren Eingabe teilt weniger Karte Aufgaben mapred.min.split.size festlegen. Dies kann mit dem HadoopSwitches-Argument festgelegt werden. Dieser Trick ist, Daten Locality opfern. Um große teilt und Datenort, bietet Block vergrößern müssen. Auf dieser Seite ist ein wenig mehr Info: http://wiki.apache.org/hadoop/HowManyMapsAndReduces
Für HPC-Projekte (d. h. rxExec()) können Sie direkt die Anzahl der RxExec () TimesToRun mit TaskChunkSize Argumente Karte Aufgaben festlegen. Die Anzahl der Karte Aufgaben werden gleich:
TimesToRun / TaskChunkSize.
3. ist es möglich, benutzerdefinierte Mapper Aufruf/erstellen / Reduzierstücks Funktion in RevoScaleR?
Ihre werden einige Methoden zur Verfügung:
-
Mit 'rxExec()': Sie verteilen und parallel - jeden beliebigen R Code ausgeführt dies angenommen, dass bereits einen Hadoop Compute Kontext 'RxHadoopMR()' erstellt.
-
Haben eine RxHadoopMR() Kontext bereits berechnet können rxDataStep()-Funktion Sie ein Reduzierstück' Funktion
Ihre Daten bietet - können rxDataStep() auch eine beliebige R Funktion über das Argument 'TransformFunc' aufgerufen.
-
Verwenden Sie "Rmr" Paket, das Teil des RHadoop.
4. auf 'Struktur-HBase' haben Sie bestimmte Pakete oder ok 'RHBase'-Paket verwendet wird?
RevoScaleR enthält spezifische Funktionen für Struktur-HBase - können Sie das Paket RHBase ergänzen die anderen R-Funktion, die in RevoScaleR vorhanden sind. Haben Sie einen ODBC-Treiber für HBase installiert können Sie die Funktion RxOdbcData() Daten importieren und in HBase gespeicherten SQL-Abfragen ausführen. Betrachten Sie RevoScaleR ODBC Data Import/Export Guide für spezifische Informationen zum Importieren von Daten über ODBC:
http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
