Pandas - вот что тебе нужно. С 500k строк обрабатывать всё в памяти встроенными циклами Python - это катастрофа с точки зрения скорости. Pandas оптимизирован на C снизу и работает с табличными данными намного эффективнее. Загрузи CSV с помощью `pd.read_csv()` и потом применяй векторизованные операции (фильтры, преобразования, вычисления) прямо над столбцами вместо того, чтобы итерировать построчно.
Если всё ещё медленно, сначала проверь, что именно ты делаешь: если читаешь весь файл, но нужны только некоторые столбцы, используй параметр `usecols` в `read_csv()`, чтобы загрузить только их. Если обрабатываешь по частям, читай файл блоками с помощью `chunksize` вместо того чтобы загружать всё сразу. Избегай применения пользовательских функций через `apply()` когда можешь - они работают чрезвычайно медленно. Если нужно обработать сложные условия, держи операции в pandas (с boolean indexing) вместо того чтобы переходить на чистый Python.
Ещё один вариант, если Pandas не тянет, - Polars, это современная замена, которая работает ещё быстрее, но для 500k строк Pandas должна свести проблему к секундам вместо минут. Попробуй эти способы перед тем как полностью менять подход.