Mein Python-Code läuft sehr langsam, wie kann ich ihn optimieren?

Ich habe ein Skript, das eine CSV-Datei mit über 500k Zeilen verarbeitet und braucht dafür etwa 5 Minuten. Ich habe normale Schleifen ausprobiert, List Comprehensions, aber es ist immer noch wahnsinnig langsam. Mache ich da etwas falsch oder muss ich meinen Ansatz komplett umstellen?

2 Antworten

★ Beste Antwort

Pandas ist das, was du hier brauchst. Mit 500k Zeilen ist die Verarbeitung alles im Speicher mit nativen Python-Schleifen ein Geschwindigkeitdebakel. Pandas ist unter der Haube in C optimiert und verarbeitet Tabellendaten viel effizienter. Lade die CSV mit `pd.read_csv()` und wende dann vektorisierte Operationen an (Filter, Transformationen, Berechnungen) direkt auf die Spalten an, statt Zeile für Zeile zu iterieren.

Wenn es immer noch langsam läuft, schau dir zuerst an, was du genau machst: Wenn du die ganze Datei lädst, aber nur einige Spalten brauchst, nutze den Parameter `usecols` in `read_csv()`, um nur die zu laden. Wenn du in Chunks verarbeitest, lies die Datei blockweise mit `chunksize` aus, statt alles auf einmal zu laden. Vermeide es, benutzerdefinierte Funktionen mit `apply()` anzuwenden, wenn du kannst - die sind wahnsinnig langsam. Wenn du komplexe Bedingungen verarbeiten musst, halte dich an Pandas-Operationen (mit Boolean-Indexierung), statt zu reinem Python zu springen.

Eine andere Option, falls Pandas nicht ausreicht, ist Polars - ein moderner und noch schnellerer Ersatz. Aber für 500k Zeilen sollte Pandas das Problem von Minuten auf Sekunden bringen. Probiere diese Sachen aus, bevor du deine Herangehensweise komplett wechselst.

Bei 500k Zeilen sind native Python-Loops extrem langsam, daher liegt der andere Kommentar über Pandas genau richtig. Aber Vorsicht: wenn du Pandas verwendest und es dauert trotzdem ewig, machst du wahrscheinlich zeilenweise Operationen innerhalb eines `.apply()` oder ähnliches, was fast genauso langsam ist wie Loops. Versuche, alles zu vektorisieren, das geht (Operationen über ganze Spalten, nicht über jede Zeile), und wenn Pandas immer noch der Engpass ist, zieh Bibliotheken wie Polars in Betracht, die bei großen Datasets schneller sind, oder wenn die Verarbeitung einfach ist, spezialisierte Tools wie DuckDB für direktes SQL auf CSVs ohne alles in den Speicher zu laden.

Deine Antwort

Anmeldenzum Beantworten.