Qui c'è un approccio un po' sbagliato nella scelta - non è necessario saltare subito a una scheda top se quella attuale non ce la fa con il carico. Il problema spesso non è la potenza della GPU in sé, ma come distribuisci i compiti. Una RTX 3080 è perfettamente in grado di gestire contemporaneamente il gioco e la codifica tramite NVENC, se configuri correttamente il bitrate e la risoluzione dello stream. Magari il problema è semplicemente che stai cercando di spremere il massimo da tutto insieme - 4K nel gioco, 4K nello stream, qualità di codifica massima?
Una mia amica ha avuto una situazione simile: ha comprato una scheda più potente, ma è servito a poco finché non ha riconfigurato OBS. Si è scoperto che stava spingendo sia il gioco con impostazioni alte sia lo stream al bitrate massimo contemporaneamente, e poi cercava ancora di elaborare video in After Effects sullo stesso sistema. Quando ha diviso i compiti - gioco su un disco, registrazione dello stream su un altro, elaborazione video dopo lo stream - tutto si è messo a posto. La RTX 3080 se la cava benissimo, se non fai tutto nello stesso momento.
Sulla questione NVENC hai ragione, è più comodo delle soluzioni AMD. Se comunque decidi di prendere una scheda nuova, guarda la RTX 4090 o 5090, non la 5080 - sono loro che danno il miglioramento necessario per i compiti paralleli. Ma prima prova a ottimizzare la tua configurazione attuale: abbassa la risoluzione dello stream a 1440p o anche Full HD, riduci il bitrate, sposta i file su un SSD separato. Spesso aiuta!