Antes de mais nada, verifica se o conector de potência (aqueles cabos de 6 ou 8 pinos) está encaixado corretamente na placa. Tipo, encaixa até ouvir o "click", porque às vezes fica meio solto e o Windows nem vê a GPU existir. Já tive um caso em casa onde a placa tava tecnicamente instalada mas os cabos de potência não estavam bem presos, e o PC simplesmente ignorava ela como se não existisse. Quando meti os cabos direito, pronto, reconheceu na hora.
Outra coisa importante: se a fonte tem potência insuficiente (essa RX 7800 XT come bastante energia), o Windows pode detectar a placa mas de forma incompleta ou bugada. Se não tens certeza da potência da tua fonte, verifica a etiqueta dela. A recomendação é uns 700W ou mais pra essa placa. Também tenta limpar os contatos do ouro na placa com um pano seco e macio, e tira a poeira da slot PCI-E. Às vezes acumula porcaria que impede o contato.
Uma última coisa: tira todos os drivers antigos completamente (Device Manager > Display adapters > clica com direito > Uninstall device, marca a opção "delete driver software") e reinicia sem nada instalado. Depois baixa os drivers mais recentes direto do site da AMD. Se mesmo assim não reconhecer, pode ser que a placa esteja danificada (sendo usada, é possível), mas testa tudo isto primeiro.