-
Kā klienti var kontrolēt to MR darbu ar "http: //xxxxxxx:50030/?" Jūs varat kontrolēt mapreduce darbi divos veidos:
-
Izmantojot Hadoop jobtracker URL - "http:// < jobTrackerhost >: 50030 /" un rakties uz uzdevuma detaļas.
-
Citādi varētu apskatīt darba izvades failus, kas izveidoti ar Revolution R mapreduce izpildes. Pēc noklusējuma šie izvades failiem atkārtoti izdzēsti pēc izpildes, bet var iestatīt opciju "autoCleanup = FALSE" veidojot Hadoop aprēķināt ietvaros, izmantojot RxHadoopMR(). Varat arī izmantot komandu RevoScaleR 'rxGetJobOutput' uzskaitīt hadoop komandas izpildes.
2. vai kontrolētu kartētājs skaitu un samazināt manu koda palaišanu, izmantojot RxHadoopMR() uzdevumus?
Nesen mēs pievienots neobligāts parametrs RxHadoopMR() jeb hadoopSwitches. Šis arguments ļauj norādīt jebkuru vispārēju Hadoop komandrindas slēdži. Piemēram, lai norādītu rindas darbībai darbu, jūs varētu rīkojieties šādi:
hadoopSwitches = "-Dmapred.job.queue.name=default"
Vairākus slēdžus var iestatīt tos atdala ar atstarpi, tāpat kā ar komandrindu.
Kontrolēt mappers MapReduce numurs ir nedaudz sarežģīta. Vispārējie noteikumi ir kartes uzdevumu skaits ir vienāds ar ievades sadalījumi skaitu. Ja ievades faili ir saspiesti faili "bez splittable", piemēram, dažu veidu, ievades sadalījumi numurs atbilst ievades failu skaits. Kompozītu XDF noteiktā atsevišķiem failiem ir bez splittable. Turpretī, ja fails ir splittable, piemēram ir CSV failu, tad FileInputFormat failā tiek sadalīts apjomus tuvu HDFS bloka lielums parasti 128 MB. Ja jums ir ļoti lielu CSV failu vai failus (piemēram, 10 TB) un nevēlaties pārāk daudz kartes uzdevumus, var iestatīt mapred.min.split.size lielu skaitu, tādējādi kļūst lielāks ievades sadalījumi un mazāk karti uzdevumus. To var iestatīt, izmantojot hadoopSwitches arguments. Šis paņēmiens negatīvi ir, ka jūs upuri datu atrašanās vieta. Ir liela sadala un datu atrašanās vieta, jums ir nepieciešams, lai palielinātu HDFS bloks. Šajā lapā ir nedaudz vairāk informācijas: http://wiki.apache.org/hadoop/HowManyMapsAndReduces
HPC darba (t.i. rxExec()), varat iestatīt tieši kartes uzdevumus, izmantojot timesToRun (rxExec) un taskChunkSize argumentu skaits. Kartes uzdevumu skaitu, kas būs būs vienāda ar:
timesToRun / taskChunkSize.
3. ir iespējams izveidot zvanu/pielāgotu kartētājs / pāreja RevoScaleR darbojas?
To ir daži veidi, kā to izdarīt:
-
Izmantojiet "rxExec()": tā ļauj izplatīt un paralēli visas patvaļīgs kods R - tas varētu pieņemt, kuru izveidojāt Hadoop aprēķināt kontekstā, izmantojot "RxHadoopMR()".
-
Ja jums ir RxHadoopMR() skaitļošanas konteksts jau ir definēts, rxDataStep() funkciju var izmantot, lai izsaukt funkciju "Pāreja"
datu HDFS - rxDataStep() ļauj arī zvanu patvaļīgi R funkcija, izmantojot "transformFunc" arguments.
-
Izmantojiet "rmr" pakotni, kas ir daļa no RHadoop.
4. piekļuvei 'Stropu/HBase' jums ir visas īpašas paketes vai ir ok, lai izmantotu "RHBase" pakotni?
RevoScaleR nav specifiskas funkcionalitātes jebkurā stropu/HBase - RHBase pakotne var izmantot papildināt R funkcija, kas atrodas RevoScaleR. Ja datorā ir instalēts HBase ODBC draiveris RxOdbcData() funkciju var izmantot, lai importētu datus un SQL izpildīšanu pret HBase saglabātajiem datiem. Apskatiet detalizētu informāciju par to, kā importēt datus, izmantojot ODBC RevoScaleR ODBC datu importēšanas/eksportēšanas rokasgrāmatu:
http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
