Ich entwickle eine API in Node.js mit Express und wenn ich mit großen CSV-Dateien teste (so um die 500MB), friert der ganze Prozess ein und ich muss neu starten. Ich habe schon versucht, den Heap zu erhöhen, aber es friert immer noch ein. Weiß jemand, ob es wirklich ein Speicherproblem ist oder ob in meinem Code was nicht stimmt?
Ich habe solche Probleme mit riesigen Datenbanken und der Grund ist fast immer derselbe: Du lädst die ganze Datei in den Speicher, bevor du sie verarbeitest! Eine 500MB-CSV wird absolut gigantisch, wenn sie in Arrays geparst wird, und den Heap zu vergrößern ist nur wie ein Pflaster auf eine Wunde zu kleben. Die echte Lösung ist, Streams zu nutzen - verarbeite Zeile für Zeile, während du die Daten in eine Datenbank oder Datei schreibst, und Node.js muss nie mehr als ein paar KB gleichzeitig speichern! Probier es mit der `csv-parser`-Library mit Streams oder schreib dir sogar einen Custom-Parser mit `fs.createReadStream()` und Events - das ändert dein Spiel komplett.
Ich bin mal in eine ähnliche Situation geraten, als ich versuchte, große Dateien auf einmal zu verarbeiten, und bin draufgekommen, dass das Problem nicht nur Speicher war - es war die Tatsache, dass ich alles auf einmal ins RAM geladen habe. Bei einer 500-MB-CSV-Datei, wenn du versuchst, die ganze Datei zu lesen und dann zu verarbeiten, läuft dir der Speicher schnell aus. Die Lösung ist, Streams zu verwenden statt alles in den Speicher zu laden. In Node.js hast du das Modul `fs.createReadStream()`, das dir ermöglicht, die Datei in Häppchen zu lesen. Wenn du mit Bibliotheken wie `csv-parser` arbeitest, kannst du Streams verketten, um Zeile für Zeile zu verarbeiten, ohne das RAM zu überlasten.
Eine andere Sache, die sich für mich geändert hat, war die Einsicht, dass selbst mit Streams, wenn deine Verarbeitungslogik langsam ist (wie synchrone Operationen in der Schleife, Datenbankabfragen ohne Batch), du einen Engpass schaffst. Wenn der Stream Daten schneller liefert, als du sie verarbeiten kannst, sammelt sich der Speicher trotzdem an. Nutze `pause()` und `resume()`, um den Fluss zu kontrollieren, oder implementiere Back-Pressure richtig. Wenn du für jede Zeile Datenbankabfragen machst, batch sie - also gruppiere 1000 Zeilen und mach eine Operation statt 1000 separate.
Was genau machst du denn mit den Daten aus der CSV? Und speicherst du die Ergebnisse irgendwo (Datei, Datenbank) oder verarbeitest du sie nur und gibst sie über die API zurück? Die Antwort hilft, weil das Problem auch darin liegen könnte, wie du die Antwort an den Client sendest.
Anmeldenzum Beantworten.
