Pandas è quello che ti serve qui. Con 500k righe, processare tutto in memoria con i loop nativi di Python è un disastro in termini di velocità. Pandas è ottimizzato in C sotto il cofano e gestisce i dati tabulari in modo molto più efficiente. Carica il CSV con `pd.read_csv()` e poi applica operazioni vettorizzate (filtri, trasformazioni, calcoli) direttamente sulle colonne invece di iterare riga per riga.
Se comunque va lento, verifica prima cosa stai facendo esattamente: se leggi il file completo ma ti servono solo alcune colonne, usa il parametro `usecols` in `read_csv()` per caricare solo quelle. Se processi in chunk, leggi il file per blocchi con `chunksize` invece di tutto in una volta. Evita di applicare funzioni personalizzate con `apply()` quando puoi - quelle vanno lentissime. Se hai bisogno di processare condizionali complesse, mantieni le operazioni in pandas (con boolean indexing) invece di saltare a Python puro.
Un'altra opzione se Pandas non basta è Polars, che è una sostituzione moderna e ancora più veloce, ma per 500k righe Pandas dovrebbe portare il problema da minuti a secondi. Prova queste cose prima di cambiare approccio completamente.