اعتبارات الأداء Hadoop العامة

اعتبارات الأداء Hadoop العامة

MapReduce الوظائف والمهام

  • خوارزمية قشارة كل قيد التشغيل في MapReduce استدعاء واحد أو أكثر من مهام MapReduce، واحداً تلو الآخر

  • كل مهمة MapReduce تتكون من مهام مخطط واحد أو أكثر

  • يمكن تنفيذ مهام مخطط في نفس الوقت

  • تعيين ركسهادوبمر (... كونسوليوتبوت = TRUE...) لتعقب تقدم العمل

مهمة MapReduce وقياس المهمة

  • عشوائي غابات ركسيكسيك (صغيرة لبيانات متوسط)

    • #jobs = 1

    • #tasks = نتريس (الافتراضي هو 10)

    • الغابات العشوائية (بيانات كبيرة، على سبيل المثال، 100 جيجابايت +)

      • #jobs ~ نتريس * maxDepth (الافتراضي هو 10 × 10؛ بدء أصغر، على سبيل المثال، 2 × 2)

      • #tasks = #inputSplits

    • ألف-يعني الانحدار اللوجستي ليتوموبوتي،

      • #jobs = #iterations (عادة تكرار 4/15)

      • #tasks = #inputSplits

    • ركسيمبورتكونترول الانحدار، "الانحدار ريدج"، خطي #inputSplits بتعيين mapred.min.split.size

      • #jobs = 1-2

      • #tasks = #inputSplits

هل تحتاج إلى مزيد من المساعدة؟

توسيع المهارات
استكشاف التدريب
الحصول على الميزات الجديدة أولاً
الانضمام إلى Microsoft Insider

هل كانت المعلومات مفيدة؟

نشكرك على ملاحظاتك!

شكراً لك على الملاحظات! يبدو أنه من المفيد إيصالك بأحد وكلاء دعم Office لدينا.

×