一般的な Hadoop のパフォーマンスに関する考慮事項

どこにいても、どのデバイスからでも、 Microsoft 365

Microsoft 365 にアップグレードして、最新の機能と更新プログラムを利用できます。

今すぐアップグレード

一般的な Hadoop のパフォーマンスに関する考慮事項

MapReduce ジョブとタスク

  • MapReduce で実行されている各スケーラのアルゴリズムを呼び出す 1 つ以上の MapReduce ジョブでは、1 つずつ

  • 各 MapReduce ジョブがマップの 1 つまたは複数のタスクで構成されています

  • マップのタスクを並列で実行できます。

  • RxHadoopMR の設定 (... consoleOutput = TRUE が...) ジョブの進行状況を追跡するために

MapReduce ジョブとタスクの拡大/縮小

  • ランダム フォレスト rxExec (小規模中規模のデータを)

    • #jobs = 1

    • #tasks = (既定値は 10) nTrees

    • ランダム フォレスト (大規模なデータ、例えば 100 GB 以上)

      • #jobs ~ nTrees * maxDepth (既定値は 10 x 10 より小さい、例: 2 x 2 の開始)。

      • #tasks = #inputSplits

    • ロジスティック回帰、GLM、k の意味

      • #jobs = #iterations (通常は 4-15 イテレーション)

      • #tasks = #inputSplits

    • Mapred.min.split.size を設定することによって、線形回帰、リッジ回帰、rxImportControl #inputSplits

      • #jobs = 1-2

      • #tasks = #inputSplits

ヘルプを表示

スキルを磨く
トレーニングの探索
新機能を最初に入手
Microsoft Insider に参加する

この情報は役に立ちましたか?

フィードバックをお送りいただきありがとうございます!

フィードバックをお寄せいただき、ありがとうございます。Office サポートの担当者におつなぎいたします。

×