Üldine Hadoopi jõudluse huvides
Mapreduce'i tööde ja ülesanded
-
Iga mastaabimuundur algoritmi töötab Mapreduce'i viitab ühe või mitme Mapreduce'i tööde, üksteise järel
-
Iga Mapreduce'i töö koosneb ühe või mitme kaarti ülesanded
-
Samal ajal võib käivitada kaarti ülesanded
-
Set RxHadoopMR (... consoleOutput = TRUE...) jälgida töö edenemise
Mapreduce'i töö ja ülesande skaala
-
Random metsa rxExec (väike keskmise suurusega andmed)
-
#jobs = 1
-
#tasks = nTrees (vaikimisi 10)
-
Random metsa (suure andmed, näiteks 100 GB +)
-
#jobs ~ nTrees * maxDepth (vaikimisi 10 x 10; alustada väiksemate, nt 2 x 2)
-
#tasks = #inputSplits
-
-
Logistika regressiooni GLM, k-tähendab
-
#jobs = #iterations (tavaliselt 4 – 15 Iteratsioone)
-
#tasks = #inputSplits
-
-
Lineaarne regressiooni Ridge tagasiulatuvalt rxImportControl #inputSplits mapred.min.split.size määrates
-
#jobs = 1-2
-
#tasks = #inputSplits
-
-
