Tamaño de bloque de Windows/Linux
-
Al elegir el tamaño del bloque, intente seleccionar rowsPerRead para obtener elementos de ~ 10M en el bloque, o incluso menor
-
Con 20 columnas, rowsPerRead = 500e3
-
Con 1000 cols, rowsPerRead = 1000
-
-
Esto tiende a dar un tamaño de bloque que puede procesar varios bloques por lectura
-
Utilice blocksPerRead > 1
-
El valor exacto depende de la cantidad de RAM disponible
-
Suele haber varios bloques en la memoria simultáneamente mejora el rendimiento
-
-
Es fácil aumentar el blocksPerRead, pero es costoso volver a bloquear, por lo que pensar con bloques más pequeños
-
Si utiliza rxSplit() o rxDataStep() para crear muestras, por ejemplo, formación y validación, a continuación, utilice rxDataStep() para volver a bloquear según el principio anterior
