Pandas é o que você precisa aqui. Com 500k linhas, processar tudo em memória com loops nativos de Python é um desastre de velocidade. Pandas está otimizado em C por baixo e lida com dados tabulares de forma muito mais eficiente. Carregue o CSV com `pd.read_csv()` e depois aplique operações vetorizadas (filtros, transformações, cálculos) diretamente nas colunas em vez de iterar linha por linha.
Se mesmo assim ficar lento, verifique primeiro o que você está fazendo exatamente: se lê o arquivo completo mas só precisa de algumas colunas, use o parâmetro `usecols` em `read_csv()` para carregar apenas essas. Se processa em chunks, leia o arquivo por blocos com `chunksize` em vez de tudo de uma vez. Evite aplicar funções personalizadas com `apply()` quando conseguir - essas são lentíssimas. Se precisar processar condicionais complexas, mantenha as operações em pandas (com boolean indexing) em vez de pular para Python puro.
Outra opção se Pandas não for suficiente é Polars, que é um substituto moderno e ainda mais rápido, mas para 500k linhas Pandas deveria levar o problema para segundos em vez de minutos. Tente essas coisas antes de mudar de abordagem completamente.