Головна Hadoop продуктивність рекомендації
MapReduce завдань і завдання
-
Кожен допомогою скейлера алгоритму в MapReduce викликає один або кілька завдань MapReduce, один за одним
-
Кожне завдання, MapReduce містить одне або кілька завдань-карта
-
Карта завдання може виконати, водночас
-
Набір RxHadoopMR (... consoleOutput = TRUE,...) відстежувати завдання виконується.
MapReduce роботу і завдання масштабування.
-
Випадкові лісу з rxExec (малого та середнього даних)
-
#jobs = 1
-
#tasks = nTrees, (за промовчанням – 10)
-
Випадкові лісу, (великих обсягів даних, наприклад 100 ГБ +)
-
#jobs ~ nTrees * maxDepth (за промовчанням 10 х 10; запустити менше, наприклад 2 х 2)
-
#tasks = #inputSplits
-
-
Логістичної регресії, GLM, k засоби
-
#jobs = #iterations (4-15 ітерації)
-
#tasks = #inputSplits
-
-
Лінійний регресії, Рідж регресії, rxImportControl #inputSplits, установивши mapred.min.split.size
-
#jobs = 1-2
-
#tasks = #inputSplits
-
-
