วิธีการส่งงาน RRE Hadoop จากไคลเอนต์ Windows (Cygwin)

บทความนี้อธิบายวิธีการเรียกใช้สคริปต์องค์กร R Revolution ในคลัสเตอร์ Hadoop จากไคลเอนต์ Windows นอกคลัสเตอร์ใช้ ssh ในสภาพแวดล้อมแบบ Cygwin

1. ติดตั้ง และกำหนดค่าองค์กร R Revolution 7.3 ในคลัสเตอร์ Hadoop ต่อRevolution R องค์กร 7.3 Hadoop กำหนดค่ารายการแนะนำ ตรวจสอบการดำเนินการของ RRE ในคลัสเตอร์เมื่อรันสคริปต์จากภายในคลัสเตอร์โดยใช้สคริปต์การตรวจสอบจากส่วนที่ 4

2. ติดตั้ง Revolution R องค์กรสำหรับ Windows 7.3 บนไคลเอนต์ระบบ Windows

3. การติดตั้งสภาพแวดล้อม Cygwin บนระบบ Windows กำลังกับเครื่องไคลเอนต์ ssh คอมโพเนนต์ของไคลเอ็นต์ ตรวจสอบ ssh ความสามารถในการเข้าสู่ระบบสำหรับผู้ใช้ R/Hadoop จากระบบไคลเอ็นต์ Windows หรือไม่

4. ตั้งค่าคอนฟิก passwordless ssh สำหรับผู้ใช้ R/Hadoop โดยการสร้างการ ssh keypair บนไคลเอนต์ และ บน namenode Hadoop สำหรับผู้ใช้ ข้อมูลเกี่ยวกับวิธีการดังกล่าวนี้สามารถพบได้ที่นี่:
   
   http://inside.mines.edu/fs_home/gmurray/HowTo/sshNotes.html
   
   หรือขอความช่วยเหลือจากกลุ่มไอทีของคุณตามความจำเป็นเพื่อให้สอดคล้องกับความต้องการด้านความปลอดภัย บันทึกคีย์ส่วนตัว.pem บนไคลเอนต์ Windows ตัวอย่างเช่น "C:\data\hdp.pem"

5. การตรวจสอบด้วยตนเอง passwordless การเข้าสู่ระบบสำหรับผู้ใช้ R (แลกเปลี่ยน: scott) จาก Cygwin อ้างอิงเซสชันการ namenode ใช้คีย์:
   

   $ ssh -i c:/data/hdp.pem scott@<namenode hostname or ip>

6. ถ้าการเข้าสู่ระบบทดสอบตนเองประสบความสำเร็จ ปรับเปลี่ยนบริบทคำนวณ Hadoop ที่ใช้เมื่อมีการเรียกใช้สคริปต์จากภายในคลัสเตอร์เพื่อรวม ssh ข้อมูลการเชื่อมต่อที่จำเป็นต้องใช้ไคลเอนต์ ตัวอย่างเช่น
   
   บริบทที่ใช้เมื่อมีการเรียกใช้สคริปต์จากโหนดคลัสเตอร์คำนวณพื้นฐาน hadoop

   myHadoopCluster <- RxHadoopMR(consoleOutput = TRUE)
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   
   ขยายบริบทการคำนวณ hadoop ที่ใช้เมื่อมีการเรียกใช้สคริปต์จากไคลเอนต์ Windows ผ่านทาง Cygwin ssh
   

   mySshUsername <- "scott"mySshHostname <- "<namenode hostname or ip>"
   
   myShareDir <- paste("/var/RevoShare", mySshUsername, sep ="/")
   myHdfsShareDir <- paste("/user/RevoShare",mySshUsername, sep="/")
   
   myHadoopCluster <- RxHadoopMR(
       hdfsShareDir = myHdfsShareDir,
       shareDir = myShareDir,
       sshUsername = mySshUsername,
       sshHostname = mySshHostname,
       sshSwitches = "-i c:\\data\\hdp.pem",
       consoleOutput = TRUE)
   
   cluster <- rxSetComputeContext(myHadoopCluster)
   

   ค่า sshSwitches อาจใช้ในการส่งอาร์กิวเมนต์อื่น ๆ ตามความจำเป็นเพื่อการ ssh ไคลเอนต์ เช่นคำที่ไม่ใช่ค่าเริ่มต้น ssh พอร์ตได้

7. ทดสอบสคริปต์ R จากองค์กร R Revolution บนไคลเอนต์ Windows สคริปต์ควรเชื่อมต่อโดยใช้ Cygwin ssh ไคลเอนต์ในพื้นหลังเพื่อส่งสคริปต์สำหรับการดำเนินการบน namenode

ดูRevoScaleR Hadoop การเริ่มต้นใช้งานคำแนะนำสำหรับข้อมูลเพิ่มเติม