El calor en la carga inalámbrica es bastante normal porque el proceso es menos eficiente que el cable. La energía se pierde en forma de calor durante la transferencia, especialmente si el cargador o el móvil tienen bobinas de mala calidad o no encajan bien. Dicho esto, si está "incómodo de tocar" probablemente se está pasando. Lo ideal es que esté tibio, no caliente. Prueba a quitar la funda si la tienes puesta (a veces atrapa más calor), asegúrate de que el móvil y el cargador están bien alineados, y que no hay nada metálico en medio.
Si aun así sigue muy caliente, el problema podría ser el cargador Anker en concreto. No todos los inalámbricos son iguales de eficientes, y algunos baratos generan demasiado calor. También puede ser que la bobina del Galaxy A54 esté dañada, aunque es menos probable. Lo mejor es usar el cable USB-C de Samsung mientras investigas. El calor extremo sí puede afectar la batería a largo plazo, así que no es paranoia. Si tienes otro cargador inalámbrico por ahí, prueba con ese para ver si el problema es el Anker o el móvil.