Mon code Python s'exécute très lentement, comment l'optimiser ?

J'ai un script qui traite un fichier CSV avec plus de 500k lignes et ça prend environ 5 minutes. J'ai essayé avec des boucles normales, des listes en compréhension, mais c'est toujours terriblement lent. Est-ce qu'il y a quelque chose que je fais mal ou il faut que je change complètement d'approche?

2 réponses

★ Meilleure réponse

Pandas, c'est ce qu'il te faut. Avec 500k lignes, traiter tout en mémoire avec les boucles natives de Python, c'est une catastrophe de vitesse. Pandas est optimisé en C en dessous et gère les données tabulaires beaucoup plus efficacement. Charge le CSV avec `pd.read_csv()` et après applique des opérations vectorisées (filtres, transformations, calculs) directement sur les colonnes au lieu d'itérer ligne par ligne.

Si ça reste lent, vérife d'abord ce que tu fais exactement : si tu lis le fichier complet mais tu n'as besoin que de certaines colonnes, utilise le paramètre `usecols` dans `read_csv()` pour charger seulement celles-là. Si tu traites par chunks, lis le fichier par blocs avec `chunksize` au lieu de tout d'un coup. Évite d'appliquer des fonctions personnalisées avec `apply()` quand tu peux - celles-là vont super lentement. Si tu dois traiter des conditions complexes, garde les opérations dans pandas (avec boolean indexing) au lieu de sauter à du Python pur.

Une autre option si Pandas ne suffit pas, c'est Polars, qui est un remplaçant moderne et encore plus rapide, mais pour 500k lignes Pandas devrait ramener le problème à des secondes au lieu de minutes. Essaie ces trucs avant de changer d'approche complètement.

Avec 500k lignes, les boucles natives de Python sont brutalement lentes, donc le commentaire sur Pandas est sur la bonne voie. Mais attention : si tu utilises Pandas et ça prend encore un temps dingue, tu fais probablement des opérations ligne par ligne dans un `.apply()` ou quelque chose de similaire, ce qui est quasi aussi lent que les boucles. Essaie de vectoriser tout ce que tu peux (opérations sur des colonnes complètes, pas sur chaque ligne) et si Pandas reste quand même un goulot, regarde du côté de librairies comme Polars qui sont plus rapides avec les gros datasets, ou si le traitement est simple, des outils spécialisés genre DuckDB pour du SQL direct sur des CSVs sans charger tout en mémoire.

Votre réponse

Se connecterpour répondre.