É totalmente normal o celular esquentar carregando, especialmente se você tá usando ele ao mesmo tempo. A bateria de íon-lítio libera calor quando tá recebendo energia, e se você tá rodando app pesado, assistindo vídeo ou jogando enquanto carrega, a coisa fica bem mais quente porque tá processando e carregando simultaneamente. O Samsung A54 tem dissipação de calor razoável, mas nada excepcional.
O que você pode fazer pra melhorar: tira a capa do celular enquanto carrega (as capas aquecem bastante), evita usar apps pesados durante o carregamento, e deixa o celular em um lugar ventilado. Se o carregador original da Samsung fica muito morno ou quente demais, aí sim pode ser problema - carregadores genéricos ou danificados tendem a passar mais voltagem e esquentam bastante. Testa com o carregador original se tiver acesso.
A bateria de lítio se degrada mais rápido com calor excessivo e repetido, então sim, vale a pena evitar esses picos de temperatura. Mas um esquentamento moderado ocasional não vai estragar nada. Se notar que o celular fica queimando de quente (tipo, incômodo de segurar), aí desliga tudo e para de carregar um pouco.