كيفية إرسال مهمة رر ل Hadoop من عميل Windows (المعجون)

توضح هذه المقالة كيفية تشغيل برنامج نصي "المؤسسة R الثورة" في كتلة Hadoop من عميل Windows خارج الكتلة باستخدام المعجون سة العميل.

1. تثبيت وتكوين "المؤسسة R الثورة" 7.3 في الكتلة Hadoop كل دليل التكوين Hadoop 7.3 الشركة R الثورة. تحقق من تشغيل رر في الكتلة عند تشغيل البرنامج النصي من داخل الكتلة باستخدام التحقق من صحة البرنامج النصي من الباب 4.

2. تثبيت "الثورة R المؤسسة لويندوز 7، 3" على نظام العميل.

3. تثبيت المعجون سة العميل على نظام العميل. تحقق من الغطاء الأمني إمكانية تسجيل الدخول للمستخدم R/Hadoop من نظام عميل Windows.

4. تكوين باسووردليس سة للمستخدم R/Hadoop بإنشاء سة زوج على العميل وعلى نامينودي Hadoop للمستخدم. يمكن العثور على معلومات حول القيام بذلك فيما يلي:
   
   https://cs.uwaterloo.ca/cscf/howto/ssh/public_key/#putty
   
   أو الحصول على المساعدة من مجموعة تكنولوجيا المعلومات اللازمة للوفاء بمتطلبات الأمان. حفظ المفتاح الخاص.ppk على عميل Windows. على سبيل المثال، "C:\data\hdp.ppk".

5. في عميل المعجون، إنشاء وحفظ جلسة عمل معجون مسماة لتسجيل الدخول من العميل إلى نامينودي Hadoop. على سبيل المثال، "رريهدب".

6. التحقق يدوياً من تسجيل الدخول باسفوردلس والمستخدم R (ex: خالد) استخدام أداة plink.exe المعجون ودورة حفظ المفتاح:
   

   "C:\\Program Files (x86)\\PuTTY\\plink.exe" -i C:\data\hdp.ppk -l scott -load RREHDP

7. في حالة نجاح عملية تسجيل الدخول اختبار plink.exe، تعديل Hadoop سياق حساب المستخدم عند تشغيل البرنامج النصي من داخل الكتلة ليتضمن سة معلومات مطلوبة من قبل العميل. على سبيل المثال:
   
   سياق المستخدم عند تشغيل البرنامج النصي من عقده نظام مجموعة حساب hadoop أساسية

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   
   

   توسيع hadoop سياق حساب المستخدم عند تشغيل البرنامج النصي من عميل Windows عن طريق المعجون. ملاحظة عند استخدام المعجون، يجب أن ميسهوستنامي لا تشير إلى اسم المضيف نامينودي. أن المعلومات تكون منعقدة المعجون المحفوظة. في البرنامج النصي، يجب تعيين ميسهوستنامي إلى اسم جلسة العمل التي تم حفظها.
   

   mySshUsername <- "scott"mySshHostname <- "RREHDP"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshClientDir = "C:\\Program Files (x86)\\PuTTY",
       sshSwitches = "-i c:\\data\\hdp.ppk",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   تستخدم القيمة سشسويتشيس لتقديم حجج أخرى حسب الحاجة سة، مثل العملاء غير افتراضي سة المنفذ.

8. اختبار برنامج نصي R من "المؤسسة R الثورة" على عملاء Windows. البرنامج النصي يجب الاتصال باستخدام المعجون سة العميل في الخلفية لإرسال البرنامج النصي للتنفيذ على نامينودي.

راجع ريفوسكالير Hadoop دليل بدء التشغيل للحصول على مزيد من المعلومات.