2 respostas

★ Melhor resposta

Pandas é o que você precisa aqui. Com 500k linhas, processar tudo em memória com loops nativos de Python é um desastre de velocidade. Pandas está otimizado em C por baixo e lida com dados tabulares de forma muito mais eficiente. Carregue o CSV com `pd.read_csv()` e depois aplique operações vetorizadas (filtros, transformações, cálculos) diretamente nas colunas em vez de iterar linha por linha.

Se mesmo assim ficar lento, verifique primeiro o que você está fazendo exatamente: se lê o arquivo completo mas só precisa de algumas colunas, use o parâmetro `usecols` em `read_csv()` para carregar apenas essas. Se processa em chunks, leia o arquivo por blocos com `chunksize` em vez de tudo de uma vez. Evite aplicar funções personalizadas com `apply()` quando conseguir - essas são lentíssimas. Se precisar processar condicionais complexas, mantenha as operações em pandas (com boolean indexing) em vez de pular para Python puro.

Outra opção se Pandas não for suficiente é Polars, que é um substituto moderno e ainda mais rápido, mas para 500k linhas Pandas deveria levar o problema para segundos em vez de minutos. Tente essas coisas antes de mudar de abordagem completamente.

Com 500k linhas, os loops nativos do Python são brutalmente lentos, então o outro comentário sobre Pandas tá na real. Mas ó: se tá usando Pandas e mesmo assim demora bastante, provavelmente tá fazendo operações linha por linha dentro de um `.apply()` ou algo do tipo, que é quase tão lento quanto os loops. Tenta vetorizar tudo quanto consegue (operações sobre colunas completas, não em cada linha) e se Pandas continua sendo o gargalo, considera bibliotecas como Polars que são mais rápidas com datasets grandes, ou se o processamento é simples, ferramentas especializadas tipo DuckDB pra SQL direto em CSVs sem carregar tudo na memória.

Sua resposta

Entrarpara responder.