Ich entwickle eine API in Node.js mit Express und wenn ich mit großen CSV-Dateien teste (so um die 500MB), friert der ganze Prozess ein und ich muss neu starten. Ich habe schon versucht, den Heap zu erhöhen, aber es friert immer noch ein. Weiß jemand, ob es wirklich ein Speicherproblem ist oder ob in meinem Code was nicht stimmt?
Ich habe solche Probleme mit riesigen Datenbanken und der Grund ist fast immer derselbe: Du lädst die ganze Datei in den Speicher, bevor du sie verarbeitest! Eine 500MB-CSV wird absolut gigantisch, wenn sie in Arrays geparst wird, und den Heap zu vergrößern ist nur wie ein Pflaster auf eine Wunde zu kleben. Die echte Lösung ist, Streams zu nutzen - verarbeite Zeile für Zeile, während du die Daten in eine Datenbank oder Datei schreibst, und Node.js muss nie mehr als ein paar KB gleichzeitig speichern! Probier es mit der `csv-parser`-Library mit Streams oder schreib dir sogar einen Custom-Parser mit `fs.createReadStream()` und Events - das ändert dein Spiel komplett.
Ich bin mal in eine ähnliche Situation geraten, als ich versuchte, große Dateien auf einmal zu verarbeiten, und bin draufgekommen, dass das Problem nicht nur Speicher war - es war die Tatsache, dass ich alles auf einmal ins RAM geladen habe. Bei einer 500-MB-CSV-Datei, wenn du versuchst, die ganze Datei zu lesen und dann zu verarbeiten, läuft dir der Speicher schnell aus. Die Lösung ist, Streams zu verwenden statt alles in den Speicher zu laden. In Node.js hast du das Modul `fs.createReadStream()`, das dir ermöglicht, die Datei in Häppchen zu lesen. Wenn du mit Bibliotheken wie `csv-parser` arbeitest, kannst du Streams verketten, um Zeile für Zeile zu verarbeiten, ohne das RAM zu überlasten.
Eine andere Sache, die sich für mich geändert hat, war die Einsicht, dass selbst mit Streams, wenn deine Verarbeitungslogik langsam ist (wie synchrone Operationen in der Schleife, Datenbankabfragen ohne Batch), du einen Engpass schaffst. Wenn der Stream Daten schneller liefert, als du sie verarbeiten kannst, sammelt sich der Speicher trotzdem an. Nutze `pause()` und `resume()`, um den Fluss zu kontrollieren, oder implementiere Back-Pressure richtig. Wenn du für jede Zeile Datenbankabfragen machst, batch sie - also gruppiere 1000 Zeilen und mach eine Operation statt 1000 separate.
Was genau machst du denn mit den Daten aus der CSV? Und speicherst du die Ergebnisse irgendwo (Datei, Datenbank) oder verarbeitest du sie nur und gibst sie über die API zurück? Die Antwort hilft, weil das Problem auch darin liegen könnte, wie du die Antwort an den Client sendest.
Das Problem ist wahrscheinlich nicht nur, den Heap zu erhöhen, ne. Wenn du eine 500-MB-Datei komplett in den Speicher lädst, bevor du sie verarbeitest, wird Node.js erdrückt - auch das stimmt. Die Leute haben recht, das anzusprechen, aber es gibt einen Detail, den niemand erwähnt hat: Wenn du Bibliotheken wie `csv-parser` oder Ähnliches verwendest, ohne Streams richtig zu konfigurieren, kann die Bibliothek mehrere Zeilen buffern, bevor sie sie verarbeitet - das macht alles schlimmer. Du musst echte Streams nutzen - `fs.createReadStream()` + einen Parser, der kleine Chunks respektiert. Auf diese Weise verarbeitet Node.js Zeile für Zeile (oder in kleinen Batches) ohne den Speicher in die Luft zu jagen.
Das andere, das alles kaputt macht: Wenn du Datenbankabfragen in der CSV-Verarbeitungsschleife machst, generiert jede Zeile eine separate Query. Stell dir 500.000 Zeilen vor = 500.000 Queries. Die Datenbank gerät in Panik, die Warteschlange wächst, der Speicher explodiert. Pack das in Batches - verarbeite 1000 Zeilen auf einmal, mach einen Batch-Insert, dann geht's zur nächsten. Mit Streams + Batching kannst du viel größere Dateien verarbeiten, ohne dass Node.js einfriert.
Anmeldenzum Beantworten.
