-
Cum pot clienții monitoriza lor MR locuri în ' http: //xxxxxxx:50030/? " Aveți posibilitatea să monitorizați activităţilor mapreduce două moduri:
-
Prin Hadoop jobtracker URL - ' http:// < jobTrackerhost >: 50030 /' și detalia în activități detalii.
-
Altă modalitate ar fi să căutați la ieșire lucrare fișierele create de Revolution R la executarea mapreduce treaba. În mod implicit aceste fişiere de ieşire re șterse după executarea locul de muncă, dar aveți posibilitatea să setați opțiunea 'autoCleanup = FALSE' când creați contextul de calcul Hadoop folosind RxHadoopMR(). Aveți posibilitatea să utilizați comanda RevoScaleR 'rxGetJobOutput' la lista de ieșire hadoop executarea treaba.
2. pot controla numărul de emulator și de a reduce activităţile la executarea codului prin RxHadoopMR()?
Am adăugat recent un parametru opţional la RxHadoopMR() numit hadoopSwitches. Acest argument vă permite să specificați orice generic Hadoop parametri de linie de comandă. De exemplu, pentru a specifica o coadă pentru a executa lucrarea, care ar putea face acest lucru:
hadoopSwitches = "-Dmapred.job.queue.name=default"
Mai multe argumente poate fi setată de separare-le cu un caracter spațiu, așa cum se va face într-o linie de comandă.
Controlul numărul de cartografii în MapReduce este oarecum dificil. Regula de bază este că numărul de hartă activități este egal cu numărul de intrare desparte. Dacă fișierele de intrare sunt "non-afla", cum ar fi anumite tipuri de fișiere comprimate, apoi numărul de intrare desparte este egal cu numărul de fișiere de intrare. Fișiere individuale în cadrul unui set compus XDF sunt non-afla. Pe de altă parte, dacă fișierul se afla, de exemplu este un fișier CSV, apoi FileInputFormat va împărţit acel fișier în porțiuni aproape de dimensiunea bloc HDFS, de obicei 128 MO. Dacă aveți un fișier CSV foarte mare sau fişiere (de exemplu, 10 to) și nu doriți prea multe activități pe hartă, puteți seta mapred.min.split.size la un număr mare, astfel obținerea desparte de intrare mai mare și mai puține hartă activități. Acest lucru poate fi setată utilizând argumentul hadoopSwitches. Dezavantaj al acestui truc este că se va sacrifica localitate de date. Pentru a avea mare divizează AND date localitate, aveți nevoie pentru a mări dimensiunea de bloc HDFS. Există un pic mai multe informaţii la această pagină: http://wiki.apache.org/hadoop/HowManyMapsAndReduces
Pentru HPC lucrări (de exemplu, rxExec()), puteți seta direct numărul de activități hartă folosind timesToRun (rxExec) și taskChunkSize argumente. Numărul de activități harta va fi egală cu:
timesToRun / taskChunkSize.
3. este posibil să apel/creaţi un Mapper particularizate / reductor funcţia în RevoScaleR?
Lor sunt câteva moduri de a face acest lucru:
-
Utilizarea 'rxExec()': vă permite să distribuiți și executați orice R unui cod arbitrar în paralel - acest lucru presupun că aţi creat deja un context de calcul Hadoop folosind 'RxHadoopMR()'.
-
Dacă aveți un RxHadoopMR() calcula context deja definite, utilizaţi funcţia rxDataStep() pentru a apela o funcție 'Reductor'
datele din HDFS - rxDataStep() permite pentru a apela, de asemenea, funcția R arbitrar prin argumentul 'transformFunc'.
-
Utilizați pachetul 'rmr' care face parte din RHadoop.
4. pentru accesarea 'Hive/HBase' nu toate pachetele specifice sau este ok pentru a utiliza pachetul 'RHBase'?
RevoScaleR nu conține nicio anumită funcționalitate pentru Hive/HBase - utilizați pachetul RHBase să completeze alte funcția R care există în RevoScaleR. Dacă aveți instalat un driver ODBC pentru HBase utilizaţi funcţia RxOdbcData() pentru a importa datele şi executa interogări SQL datele stocate în HBase. Consultați Ghidul Import/Export date ODBC RevoScaleR pentru informații specifice despre cum se importă datele prin ODBC:
http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
