Windows/Linux blokkstørrelse
-
Når du velger blokkstørrelse, prøver du å velge rowsPerRead for å gi ~ 10M elementer i blokken, eller enda mindre
-
Med 20 kolonner, rowsPerRead = 500e3
-
Med 1000 cols, rowsPerRead = 1000
-
-
Dette pleier å gi en blokkstørrelse slik at du kan behandle flere blokker per lesing
-
Bruk blocksPerRead > 1
-
Den nøyaktige verdien avhenger av hvor mye RAM du har tilgjengelig
-
Vanligvis har flere blokker i minnet samtidig forbedrer ytelsen
-
-
Det er lett å øke blocksPerRead, men dyrt så feil på siden med mindre blokker for å blokkere på nytt
-
Hvis du bruker rxSplit() eller rxDataStep() til å opprette datautvalg, for eksempel opplæring/validering, og bruk rxDataStep() til å blokkere på nytt i henhold til prinsippet om tidligere