Мой код на Python выполняется очень медленно, как его оптимизировать?

У меня есть скрипт, который обрабатывает CSV-файл с более чем 500k строк, и это занимает примерно 5 минут. Пробовала обычные циклы, list comprehension, но всё равно ужасно медленно. Может, я что-то делаю не так, или мне нужно полностью изменить подход?

2 ответа

★ Лучший ответ

Pandas - вот что тебе нужно. С 500k строк обрабатывать всё в памяти встроенными циклами Python - это катастрофа с точки зрения скорости. Pandas оптимизирован на C снизу и работает с табличными данными намного эффективнее. Загрузи CSV с помощью `pd.read_csv()` и потом применяй векторизованные операции (фильтры, преобразования, вычисления) прямо над столбцами вместо того, чтобы итерировать построчно.

Если всё ещё медленно, сначала проверь, что именно ты делаешь: если читаешь весь файл, но нужны только некоторые столбцы, используй параметр `usecols` в `read_csv()`, чтобы загрузить только их. Если обрабатываешь по частям, читай файл блоками с помощью `chunksize` вместо того чтобы загружать всё сразу. Избегай применения пользовательских функций через `apply()` когда можешь - они работают чрезвычайно медленно. Если нужно обработать сложные условия, держи операции в pandas (с boolean indexing) вместо того чтобы переходить на чистый Python.

Ещё один вариант, если Pandas не тянет, - Polars, это современная замена, которая работает ещё быстрее, но для 500k строк Pandas должна свести проблему к секундам вместо минут. Попробуй эти способы перед тем как полностью менять подход.

При 500 тыс. строк нативные циклы Python работают ужасно медленно, поэтому другой комментарий про Pandas правильно указывает направление. Но внимание: если ты используешь Pandas и это всё ещё жрёт время, скорее всего ты делаешь операции построчно внутри `.apply()` или чего-то похожего, что почти так же медленно как циклы. Постарайся векторизовать всё, что можно (операции над целыми столбцами, а не над каждой строкой в отдельности), и если Pandas всё ещё узкое место, рассмотри библиотеки типа Polars, которые быстрее работают с большими датасетами, или если обработка простая - специализированные инструменты вроде DuckDB для прямого SQL на CSV-файлах без загрузки всего в память.

Ваш ответ

Войдите, чтобы ответить.