2 risposte

★ Miglior risposta

Pandas è quello che ti serve qui. Con 500k righe, processare tutto in memoria con i loop nativi di Python è un disastro in termini di velocità. Pandas è ottimizzato in C sotto il cofano e gestisce i dati tabulari in modo molto più efficiente. Carica il CSV con `pd.read_csv()` e poi applica operazioni vettorizzate (filtri, trasformazioni, calcoli) direttamente sulle colonne invece di iterare riga per riga.

Se comunque va lento, verifica prima cosa stai facendo esattamente: se leggi il file completo ma ti servono solo alcune colonne, usa il parametro `usecols` in `read_csv()` per caricare solo quelle. Se processi in chunk, leggi il file per blocchi con `chunksize` invece di tutto in una volta. Evita di applicare funzioni personalizzate con `apply()` quando puoi - quelle vanno lentissime. Se hai bisogno di processare condizionali complesse, mantieni le operazioni in pandas (con boolean indexing) invece di saltare a Python puro.

Un'altra opzione se Pandas non basta è Polars, che è una sostituzione moderna e ancora più veloce, ma per 500k righe Pandas dovrebbe portare il problema da minuti a secondi. Prova queste cose prima di cambiare approccio completamente.

Con 500k righe, i loop nativi di Python sono brutalmente lenti, quindi l'altro commento su Pandas è sulla giusta strada. Ma attenzione: se stai usando Pandas e ti ci vuole ancora un sacco di tempo, probabilmente stai facendo operazioni riga per riga dentro a un `.apply()` o qualcosa di simile, che è quasi altrettanto lento dei loop. Prova a vettorizzare tutto quello che puoi (operazioni su colonne intere, non su ogni riga) e se Pandas continua a essere un collo di bottiglia, considera librerie come Polars che sono più veloci con dataset grandi, o se l'elaborazione è semplice, strumenti specializzati tipo DuckDB per SQL diretto su CSV senza caricare tutto in memoria.

La tua risposta

Accediper rispondere.