Microsoft hesabıyla oturum açın
Oturum açın veya hesap oluşturun.
Merhaba,
Farklı bir hesap seçin.
Birden çok hesabınız var
Oturum açmak istediğiniz hesabı seçin.

Hadoop bileşik XDF blok boyutu

MapReduce her giriş metin dosyası, varsayılan olarak HDFS blok boyutu örn: 128 MB olan bir veya daha fazla giriş bölmelerini böler.

  • Her giriş bölme sıkıştırılmamış, ayrýþtýrýlmamýþ metinden tek xdfm meta veri dosyasında "meta" dizin "veri" alt çıkış dizinini – xdfd's kümesi için üstbilgi bilgisi ikili xdfd dosyasının bulunduğu sıkıştırılmış ve ayrıştırılmış çıktı dönüştürülür

  • Sonraki analizleri, verimlilik için her çıktı xdfd dosyası kabaca HDFS blok boyutu eşleşmelidir

  • XDF sıkıştırma, bu nedenle genellikle giriş artırarak çıktı xdfd dosya boyutunu artırmak gerekir dengelemek amacıyla RxHadoopMR() için bu parametreyi kullanarak boyutu bölme:

    • hadoopSwitches="-Dmapred.min.split.size=1000000000"

    • Mapreduce.input.fileinputformat.split.minsize parametre YARN kullanarak daha yeni Hadoop yüklemeler için:

  • Bileşik XDF dosyaların sayısını artırarak daha fazla boyutu split giriş azaltabilir ve dolayısıyla parallelized eşleme sayısını izleyen çözümlemede görevler. Bu eşleme kullanılabilir yuvaları veya kapsayıcı sayısını göre bölmelerini sayısını küçükse yararlı olabilir. Diğer yandan, birçok yuvası eşlemek veya kapsayıcılara kullanılabilir olduğunda, daha küçük giriş böler ve daha fazla xdfd's daha hızlı tamamlanmasında neden olabilir.

  • Örnek

670 MB Hortonworks (32 MB) boyutu split varsayılan giriş kullanarak sanal bir giriş CSV alma oluşturulan 670/32 = 21 xdfd'ın bir rxSummary performansını 185" ile.  150 MB giriş bölme boyutunun artırılması her yaklaşık 32 MB 68" bir rxSummary performansı ile oluşturulan 5 xdfd's.

rxSetComputeContext (RxHadoopMR(hadoopSwitches =

        "-Dmapreduce.input.fileinputformat.split.minsize=150000000"))

rxImport (myCSV, myCXdf, üzerine = TRUE)

İşiniz bitince geri rxSetComputeContext(RxHadoopMR()) # set

Daha fazla yardıma mı ihtiyacınız var?

Yeteneklerinizi geliştirin
Eğitimleri keşfedin
Yeni özellikleri ilk olarak siz edinin
Microsoft Insider 'a katılın

Bu bilgi yararlı oldu mu?

Dil kalitesinden ne kadar memnunsunuz?
Deneyiminizi ne etkiledi?

Geri bildiriminiz için teşekkürler!

×