Tamanho do bloco do Windows/Linux
-
Ao escolher o tamanho do bloco, tente selecionar rowsPerRead para produzir ~ 10M elementos de bloco ou menos
-
Com 20 colunas, rowsPerRead = 500e3
-
Com 1000 cols, rowsPerRead = 1000
-
-
Isso tende a dar um tamanho de bloco, de forma que você pode processar vários blocos por leitura
-
Use o blocksPerRead > 1
-
O valor exato depende de quanta memória RAM você tem disponível
-
Geralmente ter vários blocos na memória ao mesmo tempo melhora o desempenho
-
-
É fácil aumentar o blocksPerRead, mas caros bloquear novamente, portanto errar por ter blocos menores
-
Se você usar rxSplit() ou rxDataStep() para criar amostras, por exemplo, treinamento/validação e usar rxDataStep() para bloquear novamente de acordo com o princípio anterior
