Vispārīga Hadoop veiktspējas apsvērumi

Vispārīga Hadoop veiktspējas apsvērumi

MapReduce darbi un uzdevumi

  • Katru darbību MapReduce ScaleR algoritms izsauc vienu vai vairākus MapReduce darbi viens pēc otra

  • Katra MapReduce darba veido vienu vai vairākus uzdevumus karte

  • Vienlaikus var izpildīt karti uzdevumi

  • Iestatiet RxHadoopMR (… consoleOutput = TRUE...) izsekot darba norises

MapReduce darbu un uzdevumu mērogošana

  • Nejaušs mežā ar rxExec (mazā vidējā dati)

    • #jobs = 1

    • #tasks = nTrees (noklusējums ir 10)

    • Nejaušs meža (lieli dati, piemēram 100 GB +)

      • #jobs ~ nTrees * maxDepth (noklusējums ir 10 x 10; sākt samazināt, piemēram, 2. x 2)

      • #tasks = #inputSplits

    • Loģistiskā regresijas GLM, k-līdzekļi

      • #jobs = #iterations (parasti 4 15 atkārtojumi)

      • #tasks = #inputSplits

    • Lineāra regresijas grēda regresijas rxImportControl #inputSplits, nosakot mapred.min.split.size

      • #jobs = 1-2

      • #tasks = #inputSplits

Vai nepieciešama papildu palīdzība?

Paplašiniet savas prasmes
Iepazīties ar apmācību
Esiet pirmais, kas saņem jaunās iespējas
Pievienoties Microsoft Insider

Vai šī informācija bija noderīga?

Paldies par jūsu atsauksmēm!

Paldies par atsauksmēm! Šķiet, ka jums varētu būt noderīgi sazināties ar kādu no mūsu Office atbalsta speciālistiem.

×