Hadoop genel performans değerlendirmeleri
MapReduce işleri ve görevleri
-
Bir veya daha fazla MapReduce işleri, birbiri ardına MapReduce içinde çalışan her ScaleR algoritması çağırır
-
Bir veya daha fazla eşleme görevleri her MapReduce iş oluşur
-
Harita görevleri paralel olarak çalıştırabilirsiniz.
-
RxHadoopMR set (... consoleOutput... = TRUE) proje ilerleme durumunu izlemek için
MapReduce proje ve görev ölçekleme
-
RxExec (Orta veri için küçük) ile rasgele orman
-
#jobs = 1
-
#tasks = nTrees (varsayılan değer 10)
-
Rasgele orman (büyük veri, örneğin 100 GB +)
-
#jobs ~ nTrees * maxDepth (10 x 10 varsayılandır; Başlat küçük, örn: 2 x 2)
-
#tasks = #inputSplits
-
-
Lojistik regresyon, GLM, k-anlamına gelir
-
#jobs = #iterations (tipik olarak yinelemeler 4-15)
-
#tasks = #inputSplits
-
-
Mapred.min.split.size ayarlayarak doğrusal regresyon, regresyon çıkıntı, rxImportControl #inputSplits
-
#jobs = 1-2
-
#tasks = #inputSplits
-
-
