Amplificadores de som aquecem, é normal mesmo. A questão é se está aquecem demais ou dentro do esperado. Durante 2 horas de funcionamento contínuo, é comum ficar quente ao toque, mas não deve estar tão quente que não consegues tocar na carcaça sem queimares a mão. Se consegues manter o dedo ali por alguns segundos sem dor, provavelmente está ok.
O que eu verificava: primeiro, a ventilação do amplificador. Vê se não está acumulando pó, lixo ou encostado em algo que bloqueia o ar. Muitos têm dissipadores de calor e aberturas que precisam de fluxo de ar para funcionar. Segundo, confirma se a voltagem está mesmo correta - se arranjaste um amp para 4 ohms e os teus tweeters/woofers são de impedância diferente, o amplificador trabalha mais do que devia e aquece bem mais. Terceiro, o ganho: às vezes pessoas colocam o ganho muito alto no amplificador e no head unit ao mesmo tempo, forçando o componente desnecessariamente.
Se depois de corrigir isso continuar esquentando como uma brasa em 2 horas, pode ser defeito do aparelho ou problema na alimentação (cabo positivo muito fino, bateria fraca). Nesse caso, melhor levares a um miúdo que perceba disto - não é seguro operares com um amp avariado ligado à bateria do carro.