Aqui o raciocínio tá um pouco torto - não precisa pular direto pra uma placa top se a atual não tá dando conta da carga. Muitas vezes o problema não é a potência da GPU em si, mas como você distribui as tarefas. A RTX 3080 aguenta tranquilamente rodar um jogo e fazer encoding pelo NVENC ao mesmo tempo, se você configurar direito o bitrate e a resolução da stream. Talvez seja só que você tá tentando espremer o máximo de tudo junto - 4K no jogo, 4K na stream, qualidade máxima de encoding?
Minha amiga enfrentou uma situação parecida: comprou uma placa mais potente, mas não fez diferença nenhuma até reconfigurar a OBS. Descobriu que tava rodando o jogo em settings altos, a stream no bitrate máximo ao mesmo tempo, e depois tentando ainda processar vídeo no After Effects no mesmo PC. Quando ela separou as tarefas - jogo em um disco, gravação da stream em outro, processamento de vídeo depois da stream - tudo encaixou. A RTX 3080 funciona muito bem se você não tentar fazer tudo de uma vez.
Sobre NVENC você tem razão, é bem mais prático que as soluções da AMD. Se decidir mesmo por uma placa nova, foca na RTX 4090 ou 5090, não na 5080 - só essas dão o salto que você precisa pra tarefas paralelas. Mas antes tenta otimizar sua setup atual: diminui a resolução da stream pra 1440p ou até Full HD, reduz o bitrate, move os arquivos pra um SSD separado. Muitas vezes resolve!