Μπορείτε να χρησιμοποιήσετε τις ίδιες λειτουργίες RevoScaleR για την επεξεργασία τεράστια σύνολα δεδομένων που αποθηκεύονται στο δίσκο, όπως και για την ανάλυση των δεδομένων στη μνήμη πλαισίων. Αυτό συμβαίνει επειδή οι λειτουργίες RevoScaleR Χρήση αλγορίθμων 'chunking'. Βασικά, οι αλγόριθμοι chunking ακολουθούν την παρακάτω διαδικασία:
-
Προετοιμασία: προετοιμάζονται ενδιάμεσα αποτελέσματα που απαιτούνται για τον υπολογισμό των τελικών στατιστικών
-
Ανάγνωση δεδομένων: ανάγνωση ενός μπλοκ (σύνολο των παρατηρήσεων των μεταβλητών) δεδομένων
-
Μετασχηματισμός δεδομένων: εκτέλεση μετασχηματισμών και επιλογές γραμμής για το μπλοκ δεδομένων ανάλογα με τις ανάγκες, εγγραφή δεδομένων εάν μόνο η εκτέλεση του βήματος εισαγωγής ή δεδομένα
-
Επεξεργασία δεδομένων: υπολογιστική ενδιάμεσα αποτελέσματα για το μπλοκ δεδομένων
-
Ενημέρωση αποτελεσμάτων: συνδυάζει τα αποτελέσματα από το μπλοκ δεδομένων με εκείνες του προηγούμενου μπλοκ
-
Επαναλάβετε τα βήματα 2 - (5) (ίσως σε παράλληλη) μέχρι όλα τα δεδομένα που έχει υποβληθεί σε επεξεργασία
-
Επεξεργασία αποτελεσμάτων: όταν ολοκληρωθούν τα αποτελέσματα από όλα τα τμήματα, κάνετε τελική υπολογισμούς και επιστρέφουν αποτελέσματα
