Estoy desarrollando una API en Node.js con Express y cuando pruebo con archivos CSV grandes (tipo 500MB) el proceso entero se congela y tengo que reiniciarlo. Ya intenté aumentar el heap pero sigue congelándose. ¿Alguien sabe si es problema de memoria o si hay algo mal en mi código?
Tengo problemas así con bases de datos enormes y la culpa es casi siempre la misma: ¡estás cargando el archivo completo en memoria antes de procesarlo! Un CSV de 500MB se vuelve absolutamente monstruoso cuando se parsea en arrays, y aumentar el heap es solo ponerle una tirita a una herida. La solución real es usar streams: procesa línea a línea mientras vas escribiendo los datos en una base de datos o archivo, ¡y Node.js ni va a necesitar guardar más que algunos KB a la vez! Prueba con la librería `csv-parser` con streams o hasta escribir un parser personalizado con `fs.createReadStream()` y eventos, que esto cambia completamente tu juego.
Ya pasé por algo parecido cuando intentaba procesar archivos grandes de una vez y me percaté de que el problema no era solo memoria - era el hecho de estar cargando todo de una vez en RAM. Con un CSV de 500MB, si intentas leer el archivo entero y después procesarlo, te vas a quedar sin memoria rapidito. La solución es usar streams en lugar de cargar todo a memoria. En Node.js tienes el módulo `fs.createReadStream()` que te permite leer el archivo a trocitos. Si estás con librerías tipo `csv-parser`, consigues encadenar streams para procesar línea a línea sin sobrecargar la RAM.
Otra cosa que cambió para mí fue percatarme de que incluso con streams, si tu lógica de procesamiento es lenta (tipo operaciones síncronas en el loop, queries a la BD sin batch), vas a crear un cuello de botella. Cuando el stream proporciona datos más rápido de lo que conseguís procesar, la memoria se acumula igual. Usa `pause()` y `resume()` para controlar el flujo, o implementa back-pressure adecuadamente. Si estás haciendo queries a la base de datos para cada línea, agrúpalas en batch - tipo, agrupa 1000 líneas y haz una sola operación en lugar de 1000 separadas.
¿Cuál es más o menos la operación que estás haciendo con los datos del CSV? ¿Y estás guardando los resultados en algún lado (archivo, base de datos) o solo procesando y devolviendo por la API? La respuesta ayuda porque el problema puede estar también en la forma en que estás enviando la respuesta al cliente.
Iniciar sesiónpara responder.
