-
Nasıl can müşterilerin kendi MR izlemek içinde işleri ' http: //xxxxxxx:50030/?' Mapreduce işleri iki yolla izleyebilirsiniz:
-
Hadoop - jobtracker URL yoluyla ' http:// < jobTrackerhost >: 50030 /' ve görev ayrıntıları ayrıntısına.
-
Diğer bir yol mapreduce işinizi çalışan devrim R tarafından oluşturulan iş çıktı dosyalarına bakmak olacaktır. Varsayılan olarak bu dosyalar re işi çalıştırdıktan sonra silinmiş çıktı, ancak seçenek ayarlayabilirsiniz 'autoCleanup = FALSE' RxHadoopMR() kullanarak Hadoop compute bağlam oluşturduğunuzda. RevoScaleR komutunu da kullanabilirsiniz 'rxGetJobOutput' çalıştırılmasının hadoop çıktı listelemek için.
2. ben Eşleştiricisi sayısını kontrol edebilir ve kodum RxHadoopMR() çalışan görevleri azaltmak?
Son zamanlarda biz isteğe bağlı bir parametre için hadoopSwitchesadlı RxHadoopMR() eklendi. Bu bağımsız değişken herhangi bir genel Hadoop komut satırı anahtarları belirtmenize olanak verir. Örneğin, iş çalıştırılacak bir sıra belirtmek için bunu yapabilirsiniz:
hadoopSwitches = "-Dmapred.job.queue.name=default"
Tek bir komut satırında yaptığınız gibi bir boşluk karakteri ile aralarına virgül koyarak birden çok anahtarı ayarlayabilirsiniz.
MapReduce içinde mappers sayısını denetleme biraz zor. Harita görevlerin sayısını giriş bölmelerini sayısını eşittir temel kuraldır. Giriş dosyaları sıkıştırılmış dosya "bölümlenebilir olmayan", örneğin belirli türleri, sonra giriş bölmelerini sayısını girdi dosyalarının sayısına eşittir. Tek bir bileşik XDF kümesi içindeki bölümlenebilir olmayan dosyalardır. Diğer taraftan, dosyanızı bölümlenebilir ise, örneğin bir CSV dosyası olduğu sonra FileInputFormat bu dosyayı HDFS blok boyutu 128 MB genellikle yakın parçalara bölün. Çok büyük bir CSV dosyası veya dosyaları (örneğin 10 TB) varsa ve çok çok görevler eşleştirmek istiyor musunuz, mapred.min.split.size giriş bölmelerini daha büyük ve daha az harita görevleri dolayısıyla Başlarken büyük bir sayıya ayarlayabilirsiniz. Bu, hadoopSwitches bağımsız değişkeni kullanılarak ayarlanabilir. Bu eli dezavantajı, veri yerleşim yeri fedakarlık olur. Çok büyük olması ve veri yerleşim yeri böler, HDFS blok boyutunu artırmanız gerekir. Bu sayfanın olduğundan biraz daha fazla bilgi: http://wiki.apache.org/hadoop/HowManyMapsAndReduces
HPC işleri (yani rxExec()) doğrudan rxExec (ler) timesToRun ve taskChunkSize bağımsız değişkenleri kullanarak eşleme görevlerin sayısını ayarlayabilirsiniz. Harita görev sayısı eşit olacaktır:
timesToRun / taskChunkSize.
3. özel eşleyicisinde çağrı/oluşturmak mümkün olduğu / Reducer işlev içinde RevoScaleR?
Onların bunu yapmanın birkaç yolu şunlardır:
-
'RxExec()' kullanın: dağıtabilmenizi sağlar ve paralel olarak - R rasgele kod çalıştırmak bu zaten bir Hadoop compute bağlamı 'RxHadoopMR()' kullanarak oluşturduğunuz varsayalım.
-
Önceden tanımlanmış bağlamını hesaplamak bir RxHadoopMR() varsa, 'Reducer' işlevi çağırmak için rxDataStep() işlevini kullanabilirsiniz
Verilerinizi HDFS - rxDataStep(), ayrıca 'transformFunc' bağımsız değişkeni aracılığıyla rasgele bir R işlevini çağırmak sağlar.
-
RHadoop bir parçası olan 'rmr' paketini kullanın.
4. 'Kovanı/HBase' erişmek için herhangi bir özel paketler izniniz veya Tamam 'RHBase' paketini kullanmak için değil?
RevoScaleR kovan/HBase için herhangi bir işlevi içermiyor - RHBase paketi RevoScaleR içinde kayıtlı bir R işlevi desteklemek için kullanabilirsiniz. HBase için yüklü ODBC sürücüsü varsa, karşı HBase içinde depolanan verileri SQL sorguları çalıştırmak ve verileri almak için RxOdbcData() işlevini kullanabilirsiniz. ODBC üzerinden veri alma konusunda daha ayrıntılı bilgi için RevoScaleR ODBC veri alma/verme Rehber bir göz atın:
http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
