O calor na carga sem fio é bastante normal porque o processo é menos eficiente que o cabo. A energia se perde em forma de calor durante a transferência, especialmente se o carregador ou o celular têm bobinas de má qualidade ou não encaixam bem. Dito isso, se está "desconfortável de tocar" provavelmente está passando dos limites. O ideal é que fique morno, não quente. Tenta tirar a capa se tiver colocada (às vezes prende mais calor), certifica-te de que o celular e o carregador estão bem alinhados, e que não há nada metálico no meio.
Se mesmo assim continua muito quente, o problema pode ser o carregador Anker em concreto. Nem todos os sem fio são igualmente eficientes, e alguns baratos geram muito calor. Também pode ser que a bobina do Galaxy A54 esteja danificada, embora seja menos provável. O melhor é usar o cabo USB-C da Samsung enquanto investigas. O calor extremo sim pode afetar a bateria a longo prazo, então não é paranoia. Se tiveres outro carregador sem fio por aí, tenta com esse para ver se o problema é o Anker ou o celular.