Vispārīga Hadoop veiktspējas apsvērumi
MapReduce darbi un uzdevumi
-
Katru darbību MapReduce ScaleR algoritms izsauc vienu vai vairākus MapReduce darbi viens pēc otra
-
Katra MapReduce darba veido vienu vai vairākus uzdevumus karte
-
Vienlaikus var izpildīt karti uzdevumi
-
Iestatiet RxHadoopMR (… consoleOutput = TRUE...) izsekot darba norises
MapReduce darbu un uzdevumu mērogošana
-
Nejaušs mežā ar rxExec (mazā vidējā dati)
-
#jobs = 1
-
#tasks = nTrees (noklusējums ir 10)
-
Nejaušs meža (lieli dati, piemēram 100 GB +)
-
#jobs ~ nTrees * maxDepth (noklusējums ir 10 x 10; sākt samazināt, piemēram, 2. x 2)
-
#tasks = #inputSplits
-
-
Loģistiskā regresijas GLM, k-līdzekļi
-
#jobs = #iterations (parasti 4 15 atkārtojumi)
-
#tasks = #inputSplits
-
-
Lineāra regresijas grēda regresijas rxImportControl #inputSplits, nosakot mapred.min.split.size
-
#jobs = 1-2
-
#tasks = #inputSplits
-
-
