كيفية إرسال مهمة رر ل Hadoop من عميل Windows (Cygwin)

توضح هذه المقالة كيفية تشغيل برنامج نصي "المؤسسة R الثورة" في كتلة Hadoop من عميل Windows خارج الكتلة باستخدام الغطاء الأمني في بيئة سيغوين.

1. تثبيت وتكوين "المؤسسة R الثورة" 7.3 في الكتلة Hadoop كل دليل التكوين Hadoop 7.3 الشركة R الثورة. تحقق من تشغيل رر في الكتلة عند تشغيل البرنامج النصي من داخل الكتلة باستخدام التحقق من صحة البرنامج النصي من الباب 4.

2. تثبيت "الثورة R المؤسسة لويندوز 7، 3" على نظام العميل.

3. تثبيت بيئة سيغوين على نظام Windows التأكد من تضمين العميل سة مكونات العميل. تحقق من الغطاء الأمني إمكانية تسجيل الدخول للمستخدم R/Hadoop من نظام عميل Windows.

4. تكوين باسووردليس سة للمستخدم R/Hadoop بإنشاء سة زوج على العميل وعلى نامينودي Hadoop للمستخدم. يمكن العثور على معلومات حول القيام بذلك فيما يلي:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   أو الحصول على المساعدة من مجموعة تكنولوجيا المعلومات اللازمة للوفاء بمتطلبات الأمان. حفظ المفتاح الخاص.pem على عميل Windows. على سبيل المثال، "C:\data\hdp.pem".

5. التحقق يدوياً من باسفوردلس تسجيل الدخول للمستخدم R (ex: خالد) من سيغوين باش الدورة إلى نامينودي استخدام المفتاح:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. في حالة نجاح اختبار يدوي تسجيل الدخول، تعديل Hadoop سياق حساب المستخدم عند تشغيل البرنامج النصي من داخل الكتلة ليتضمن سة معلومات مطلوبة من قبل العميل. على سبيل المثال:
   
   سياق المستخدم عند تشغيل البرنامج النصي من عقده نظام مجموعة حساب hadoop أساسية

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   توسيع hadoop سياق حساب المستخدم عند تشغيل البرنامج النصي من عميل Windows عبر سيغوين سة.
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   تستخدم القيمة سشسويتشيس لتقديم حجج أخرى حسب الحاجة سة، مثل العملاء غير افتراضي سة المنفذ.

7. اختبار برنامج نصي R من "المؤسسة R الثورة" على عملاء Windows. البرنامج النصي يجب الاتصال باستخدام Cygwin سة العميل في الخلفية لإرسال البرنامج النصي للتنفيذ على نامينودي.

راجع ريفوسكالير Hadoop دليل بدء التشغيل للحصول على مزيد من المعلومات.