Não é tão raro isso acontecer num Corolla dessa geração, mas também não é algo que deva ignorar. Além do refrigerante baixo (que é o óbvio), há um detalhe que muita gente não revisa a tempo: o termostato pode estar travado ou falhando. Se o motor está superaquecendo só na cidade com ar ligado, o ventilador do radiador pode não estar ativando quando deveria. Isso acontece frequentemente quando o termostato não manda o sinal correto, e é fácil passar despercebido porque a gente revisa o líquido e pronto.
O primeiro passo então é verificar o nível do refrigerante com o motor frio (isso é importante, não abra nada quente). Se estiver baixo, recarregue e observe se o problema persiste nos próximos dias de direção. Se continuar subindo a temperatura igual, quase certo é o termostato ou o ventilador elétrico não funciona bem. Outra coisa que acontece é o radiador estar obstruído por dentro com sujeira acumulada, especialmente se não faz manutenção de refrigeração há anos.
No teu caso, considerando que o carro tem só um par de anos, seria estranho se fosse uma falha maior. Mas sim, é perigoso continuar assim porque o calor extremo pode danificar a junta do cilindro ou empenamento na cabeça do motor, e isso sai caro. Leva o carro a um mecânico confiável para diagnosticar se é o termostato, o ventilador ou algo no sistema de refrigeração. Não é algo que deva esperar muito tempo.