-
كيفية مراقبة العملاء يمكن بها السيد الوظائف في 'http://xxxxxxx:50030/؟' يمكنك مراقبة مهام mapreduce طريقتين:
-
عبر عنوان URL جوبتراكير Hadoop-'http://< جوبتراكيرهوست >: 50030/' والتنقيب تفاصيل المهمة.
-
ستكون طريقة أخرى للبحث في ملفات إخراج المهمة الناجمة عن الثورة R في تشغيل الوظيفة الخاصة بك mapreduce. بشكل افتراضي هذه ملفات الإخراج أو إعادة حذف بعد تشغيل المهمة، ولكن يمكنك تعيين الخيار 'أوتوكليانوب = FALSE' عندما تقوم بإنشاء سياق حساب Hadoop باستخدام RxHadoopMR(). يمكنك أيضا استخدام الأمر ريفوسكالير 'ركسجيتجوبوتبوت' قائمة تشغيل المهمة إخراج hadoop.
2. يمكنك التحكم في عدد معين وتقليل المهام في تشغيل التعليمات البرمجية الخاصة بي عن طريق RxHadoopMR()؟مؤخرا أضفنا معلمة اختيارية لتسمي هادوبسويتشيسRxHadoopMR(). هذه الوسيطة يتيح إمكانية تحديد أي عام Hadoop رموز تبديل سطر الأوامر. على سبيل المثال، لتحديد قائمة انتظار لتشغيل الوظيفة، يمكن القيام بذلك:هادوبسويتشيس = "-Dmapred.job.queue.name=default"يمكن تعيين مفاتيح متعددة بالفصل بينها بمسافة، مثلما أحد سيفعل في سطر الأوامر.التحكم في عدد المخططون في MapReduce صعبة إلى حد ما. القاعدة الأساسية أن عدد المهام مخطط يساوي عدد انقسام الإدخال. إذا كانت لديك ملفات الإدخال "غير-التقسيم"، على سبيل المثال، بعض أنواع الملفات المضغوطة، انقسام الإدخال العدد يساوي عدد ملفات الإدخال. قابلة للملفات الفردية داخل مجموعة "إكسدف مركب" غير التقسيم. ومن ناحية أخرى، إذا كان الملف التقسيم، على سبيل المثال من ملف CSV، ثم فيلينبوتفورمات سيتم تقسيم الملف إلى قطع قريبة من حجم الكتلة هي عادة 128 ميغا بايت. إذا كانت الملفات (على سبيل المثال، 10 ت) أو ملف CSV كبير جداً ولا تريد أيضا العديد من تعيين المهام، يمكنك تعيين mapred.min.split.size إلى عدد كبير، وبالتالي الحصول على مهام مخطط أقل وانقسام الإدخال أكبر. يمكن تعيين هذا استخدام الوسيطة هادوبسويتشيس. أن التأثير السلبي لهذه الدورة الذي سيضحي موقع البيانات. ضخمة لانقسام المجتمع المحلي البيانات، تحتاج لزيادة حجم الكتلة هي. هناك القليل من المعلومات أكثر في هذه الصفحة: http://wiki.apache.org/hadoop/HowManyMapsAndReducesلمهام الحوسبة عالية الأداء (أي rxExec())، يمكن تعيين عدد مهام مخطط باستخدام تيميستورون (ركسيكسيك) والحجج تاسكتشونكسيزي مباشرة. عدد المهام خريطة سوف ستعادل:تيميستورون/تاسكتشونكسيزي. 3-هل من الممكن استدعاء/إنشاء مخطط مخصص/العمل المخفض في ريفوسكالير؟هذه هي بعض الطرق للقيام بذلك:
-
استخدام 'rxExec()': يسمح لك بتوزيع وتشغيل أية تعليمات برمجية "R" إجبارية في نفس الوقت-ذلك أن نفترض مسبقاً إنشاء سياق حساب Hadoop استخدام 'RxHadoopMR()'.
-
إذا كان لديك RxHadoopMR() حساب سياق معرف مسبقاً، يمكنك استخدام الدالة rxDataStep() لاستدعاء دالة 'المخفض'على البيانات هي-rxDataStep() يمكنك أيضا استدعاء دالة R عشوائية خلال الوسيطة 'ترانسفورمفونك'.
-
استخدام حزمة 'rmr' هو جزء من رهادوب.
4-للوصول إلى 'خلية/حباس' هل لديك أية حزم معينة أو هل تريد استخدام حزمة 'رهباسي'؟ريفوسكالير لا يحتوي على أية وظائف معينة لخلية/حباس-يمكنك استخدام حزمة رهباسي لتكملة R الدالة الأخرى الموجودة في ريفوسكالير. إذا كان لديك برنامج تشغيل ODBC المثبتة ليمكنك استخدام الدالة RxOdbcData() لاستيراد البيانات وتشغيل استعلامات SQL عن البيانات المخزنة في حباس حباس. إلقاء نظرة على استيراد/تصدير "بيانات ODBC ريفوسكالير دليل" للحصول على معلومات معينة حول كيفية استيراد البيانات عبر ODBC:http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
