Mi código en Python se ejecuta muy lento, ¿cómo optimizarlo?

Marta Martinez MX 🔍 Entusiasta 👁 169 ⚑ Denunciar Programación

Tengo un script que procesa un archivo CSV con más de 500k líneas y demora como 5 minutos. Probé con loops normales, listas por comprensión, pero sigue siendo lentísimo. ¿Hay algo que esté haciendo mal o tengo que cambiar de enfoque completamente?

2 respuestas

★ Mejor respuesta

Pandas es lo que necesitas acá. Con 500k líneas, procesar todo en memoria con loops nativos de Python es un desastre de velocidad. Pandas está optimizado en C por debajo y maneja datos tabulares de forma mucho más eficiente. Carga el CSV con `pd.read_csv()` y después aplica operaciones vectorizadas (filtros, transformaciones, cálculos) directamente sobre las columnas en lugar de iterar fila por fila.

Si aún así va lento, revisá primero qué estás haciendo exactamente: si leés el archivo completo pero solo necesitás algunas columnas, usá el parámetro `usecols` en `read_csv()` para cargar solo esas. Si procesás en chunks, leé el archivo por bloques con `chunksize` en lugar de todo de una vez. Evitá aplicar funciones personalizadas con `apply()` cuando puedas - esas van lentísimas. Si necesitás procesar condicionales complejas, mantené las operaciones en pandas (con boolean indexing) en lugar de saltar a Python puro.

Otra opción si Pandas no alcanza es Polars, que es un reemplazo moderno y más rápido aún, pero para 500k líneas Pandas debería llevar el problema a segundos en lugar de minutos. Probá estas cosas antes de cambiar de enfoque completamente.

Con 500k líneas, los loops nativos de Python son brutalmente lentos, así que el otro comentario sobre Pandas está en la onda correcta. Pero cuidado: si estás usando Pandas y aún te demora un montón, probablemente estés haciendo operaciones fila por fila dentro de un `.apply()` o algo similar, que es casi tan lento como los loops. Intenta vectorizar todo lo que puedas (operaciones sobre columnas completas, no sobre cada fila) y si Pandas sigue siendo cuello de botella, considera librerías como Polars que son más rápidas con datasets grandes, o si el procesamiento es simple, herramientas especializadas tipo DuckDB para SQL directo sobre CSVs sin cargar todo a memoria.

Tu respuesta

Iniciar sesiónpara responder.