Applies ToRevolution Analytics

Hadoop genel performans değerlendirmeleriMapReduce işleri ve görevleri

  • Bir veya daha fazla MapReduce işleri, birbiri ardına MapReduce içinde çalışan her ScaleR algoritması çağırır

  • Bir veya daha fazla eşleme görevleri her MapReduce iş oluşur

  • Harita görevleri paralel olarak çalıştırabilirsiniz.

  • RxHadoopMR set (... consoleOutput... = TRUE) proje ilerleme durumunu izlemek için

MapReduce proje ve görev ölçekleme

  • RxExec (Orta veri için küçük) ile rasgele orman

    • #jobs = 1

    • #tasks = nTrees (varsayılan değer 10)

    • Rasgele orman (büyük veri, örneğin 100 GB +)

      • #jobs ~ nTrees * maxDepth (10 x 10 varsayılandır; Başlat küçük, örn: 2 x 2)

      • #tasks = #inputSplits

    • Lojistik regresyon, GLM, k-anlamına gelir

      • #jobs = #iterations (tipik olarak yinelemeler 4-15)

      • #tasks = #inputSplits

    • Mapred.min.split.size ayarlayarak doğrusal regresyon, regresyon çıkıntı, rxImportControl #inputSplits

      • #jobs = 1-2

      • #tasks = #inputSplits

Daha fazla yardıma mı ihtiyacınız var?

Daha fazla seçenek mi istiyorsunuz?

Abonelik avantajlarını keşfedin, eğitim kurslarına göz atın, cihazınızın güvenliğini nasıl sağlayacağınızı öğrenin ve daha fazlasını yapın.

Topluluklar, soru sormanıza ve soruları yanıtlamanıza, geri bildirimde bulunmanıza ve zengin bilgiye sahip uzmanlardan bilgi almanıza yardımcı olur.