Hadoop genel performans değerlendirmeleri

MapReduce işleri ve görevleri

  • Bir veya daha fazla MapReduce işleri, birbiri ardına MapReduce içinde çalışan her ScaleR algoritması çağırır

  • Bir veya daha fazla eşleme görevleri her MapReduce iş oluşur

  • Harita görevleri paralel olarak çalıştırabilirsiniz.

  • RxHadoopMR set (... consoleOutput... = TRUE) proje ilerleme durumunu izlemek için

MapReduce proje ve görev ölçekleme

  • RxExec (Orta veri için küçük) ile rasgele orman

    • #jobs = 1

    • #tasks = nTrees (varsayılan değer 10)

    • Rasgele orman (büyük veri, örneğin 100 GB +)

      • #jobs ~ nTrees * maxDepth (10 x 10 varsayılandır; Başlat küçük, örn: 2 x 2)

      • #tasks = #inputSplits

    • Lojistik regresyon, GLM, k-anlamına gelir

      • #jobs = #iterations (tipik olarak yinelemeler 4-15)

      • #tasks = #inputSplits

    • Mapred.min.split.size ayarlayarak doğrusal regresyon, regresyon çıkıntı, rxImportControl #inputSplits

      • #jobs = 1-2

      • #tasks = #inputSplits

Daha fazla yardıma mı ihtiyacınız var?

Yeteneklerinizi geliştirin

Eğitimleri keşfedin >

Yeni özellikleri ilk olarak siz edinin

Microsoft Insider’a katılın >

Bu bilgi yararlı oldu mu?

Dil kalitesinden ne kadar memnunsunuz?
Deneyiminizi ne etkiledi?

Geri bildiriminiz için teşekkürler!

×