Sign in with Microsoft
New to Microsoft? Create an account.

Головна Hadoop продуктивність рекомендації

MapReduce завдань і завдання

  • Кожен допомогою скейлера алгоритму в MapReduce викликає один або кілька завдань MapReduce, один за одним

  • Кожне завдання, MapReduce містить одне або кілька завдань-карта

  • Карта завдання може виконати, водночас

  • Набір RxHadoopMR (... consoleOutput = TRUE,...) відстежувати завдання виконується.

MapReduce роботу і завдання масштабування.

  • Випадкові лісу з rxExec (малого та середнього даних)

    • #jobs = 1

    • #tasks = nTrees, (за промовчанням – 10)

    • Випадкові лісу, (великих обсягів даних, наприклад 100 ГБ +)

      • #jobs ~ nTrees * maxDepth (за промовчанням 10 х 10; запустити менше, наприклад 2 х 2)

      • #tasks = #inputSplits

    • Логістичної регресії, GLM, k засоби

      • #jobs = #iterations (4-15 ітерації)

      • #tasks = #inputSplits

    • Лінійний регресії, Рідж регресії, rxImportControl #inputSplits, установивши mapred.min.split.size

      • #jobs = 1-2

      • #tasks = #inputSplits

Потрібна додаткова довідка?

Отримуйте нові функції раніше за інших
Приєднатися до Microsoft оцінювачів

Ця інформація корисна?

Наскільки ви задоволені якістю мови?
Що вплинуло на ваші враження?

Дякуємо за відгук!

×