Pandas es lo que necesitas acá. Con 500k líneas, procesar todo en memoria con loops nativos de Python es un desastre de velocidad. Pandas está optimizado en C por debajo y maneja datos tabulares de forma mucho más eficiente. Carga el CSV con `pd.read_csv()` y después aplica operaciones vectorizadas (filtros, transformaciones, cálculos) directamente sobre las columnas en lugar de iterar fila por fila.
Si aún así va lento, revisá primero qué estás haciendo exactamente: si leés el archivo completo pero solo necesitás algunas columnas, usá el parámetro `usecols` en `read_csv()` para cargar solo esas. Si procesás en chunks, leé el archivo por bloques con `chunksize` en lugar de todo de una vez. Evitá aplicar funciones personalizadas con `apply()` cuando puedas - esas van lentísimas. Si necesitás procesar condicionales complejas, mantené las operaciones en pandas (con boolean indexing) en lugar de saltar a Python puro.
Otra opción si Pandas no alcanza es Polars, que es un reemplazo moderno y más rápido aún, pero para 500k líneas Pandas debería llevar el problema a segundos en lugar de minutos. Probá estas cosas antes de cambiar de enfoque completamente.