-
Làm thế nào khách hàng có thể theo dõi ông của công việc trong ' http: //xxxxxxx:50030/?' Bạn có thể theo dõi việc mapreduce hai cách:
-
Thông qua Hadoop jobtracker URL - ' http:// < jobTrackerhost >: 50030 /' và đi sâu vào chi tiết tác vụ.
-
Cách khác sẽ xem tập tin đầu ra việc tạo bằng cách mạng R chạy mapreduce công việc của bạn. Theo mặc định các đầu ra tệp lại xoá sau khi chạy công việc, nhưng bạn có thể đặt tuỳ chọn 'autoCleanup = FALSE' khi bạn tạo ngữ cảnh tính Hadoop sử dụng RxHadoopMR(). Bạn cũng có thể sử dụng lệnh RevoScaleR 'rxGetJobOutput' vào danh sách kết quả hadoop chạy lệnh.
2. có thể kiểm soát số ánh xạ và giảm tác vụ chạy mã của tôi qua RxHadoopMR()?
Gần đây chúng tôi vào một số tuỳ chọn RxHadoopMR() được gọi là hadoopSwitches. Đối số này cho phép bạn chỉ định bất kỳ khoá chuyển đổi dòng lệnh Hadoop chung. Ví dụ: để xác định một hàng đợi để chạy lệnh trên, bạn có thể thực hiện việc này:
hadoopSwitches = "-Dmapred.job.queue.name=default"
Nhiều công tắc có thể được đặt tách chúng bằng một ký tự, cũng như một nào trong dòng lệnh.
Kiểm soát số mappers trong MapReduce là hơi khó khăn. Quy tắc cơ bản là số đồ việc bằng số tách nhập. Nếu tệp của bạn vào loại "không splittable", ví dụ như các tập tin nén, sau đó tách nhập số bằng số nhập tệp. Các tập tin cá nhân trong tập hợp XDF được không splittable. Mặt khác, nếu tệp splittable, ví dụ: nó là một tệp CSV, sau đó FileInputFormat sẽ chia tập tin khối gần khối HDFS kích thước, thường 128 MB. Nếu bạn có một tệp CSV lớn hoặc tập tin (ví dụ: 10 TB) và không quá nhiều bản đồ tác vụ, bạn có thể đặt mapred.min.split.size nhiều, do đó việc tách nhập lớn và ít đồ tác vụ. Điều này có thể được đặt bằng cách sử dụng tham số hadoopSwitches. Trái thủ thuật này là bạn sẽ hy sinh dữ liệu địa phương. Phải lớn tách và dữ liệu địa phương, bạn cần để tăng kích thước khối HDFS. Có một chút xem thêm thông tin tại Trang này: http://wiki.apache.org/hadoop/HowManyMapsAndReduces
Cho HPC các công việc (ví dụ: rxExec()), bạn có thể trực tiếp đặt số đồ việc sử dụng rxExec () timesToRun và taskChunkSize đối số. Số lượng công việc đồ sẽ sẽ bằng:
timesToRun / taskChunkSize.
3. có thể gọi/tạo ánh xạ tuỳ chỉnh / giảm chức năng RevoScaleR?
Của một số cách để làm điều này:
-
Sử dụng 'rxExec()': nó cho phép bạn phân phối và chạy bất kỳ mã R bất kỳ song song - này giả định rằng bạn đã tạo ra một bối cảnh Hadoop tính bằng cách sử dụng 'RxHadoopMR()'.
-
Nếu bạn có một RxHadoopMR() tính ngữ cảnh được xác định, bạn có thể sử dụng chức năng rxDataStep() gọi chức năng 'Giảm'
nhập dữ liệu trong HDFS - rxDataStep() cho phép bạn cũng gọi chức R bất kỳ qua đối số 'transformFunc'.
-
Sử dụng gói 'rmr' là một phần của RHadoop.
4. để truy cập 'Trung tâm/HBase' bạn có bất kỳ gói cụ thể hoặc là ok để sử dụng gói 'RHBase'?
RevoScaleR không chứa bất kỳ chức năng cụ thể cho Trung tâm/HBase - bạn có thể sử dụng gói RHBase bổ sung khác R hàm đã tồn tại trong RevoScaleR. Nếu bạn có trình điều khiển ODBC cài đặt để bạn có thể sử dụng chức năng RxOdbcData() nhập dữ liệu và chạy truy vấn SQL dữ liệu được lưu trữ trong HBase HBase. Xem hướng dẫn nhập/xuất dữ liệu RevoScaleR ODBC cho các thông tin cụ thể về cách nhập dữ liệu qua ODBC:
http://packages.revolutionanalytics.com/doc/7.1.0/linux/RevoScaleR_ODBC.pdf
