אבטחת איכות: כיצד שהאלגוריתמים chunking RevoScaleR לעבוד?

באפשרותך להשתמש באותן פונקציות RevoScaleR לעיבוד אדירה ערכות נתונים המאוחסנים בדיסק כפי שאתה עושה כדי לנתח מסגרות נתונים בזיכרון. הסיבה לכך היא פונקציות RevoScaleR השתמש באלגוריתמים 'chunking'. למעשה, אלגוריתמים chunking בצע את התהליך הזה:

1. אתחול: תוצאות ביניים לצורך חישוב סטטיסטיקה הסופי מתבצע אתחול

2. קריאת נתונים: לקרוא קטע (קבוצה של תצפיות של משתני) של נתונים

3. שינוי צורה של נתונים: ביצוע המרות ובחירות שורה עבור הקטע של נתונים לפי הצורך; לכתוב נתונים אם רק ביצוע שלב ייבוא או נתונים

4. לעבד נתונים: לחשב תוצאות הביניים עבור הקטע של נתונים

5. עדכון תוצאות: לשלב את התוצאות מכל הקטע של נתונים עם אלה של קטעים הקודם

6. חזור על שלבים (2) - (5) (אולי במקביל) עד שכל הנתונים עובדה

7. תהליך תוצאות: כאשר תוצאות מתוך כל נתחי הושלמו, לבצע חישובים הסופי ולחזור תוצאות