Le souci ici, c'est une approche un peu mal orientée - pas besoin de foncer sur une carte haut de gamme si la tienne ne suit pas avec la charge actuelle. Le problème, c'est souvent pas la puissance de la carte vidéo en elle-même, mais comment tu distribues les tâches. Une RTX 3080 est tout à fait capable de faire tourner un jeu et l'encodage par NVENC en même temps, si tu configures bien le débit et la résolution du stream. C'est peut-être juste que tu essaies de tirer le maximum partout à la fois - du 4K dans le jeu, du 4K en stream, la qualité d'encodage au max?
Une copine a eu un truc similaire : elle a acheté une carte plus puissante, mais ça a rien changé, jusqu'à ce qu'elle reconfigure OBS. Il s'est avéré qu'elle faisait tourner le jeu en haute qualité ET le stream en débit maximal en même temps, et après elle essayait encore de traiter de la vidéo dans After Effects sur le même système. Dès qu'elle a séparé les tâches - le jeu sur un disque, l'enregistrement du stream sur un autre, le traitement vidéo après le stream - tout s'est arrangé. La RTX 3080 gère très bien, tant qu'on fait pas tout d'un coup.
Sur NVENC, t'as raison, c'est plus pratique que les solutions AMD. Si tu te décides vraiment pour une nouvelle carte, regarde la RTX 4090 ou la 5090, pas la 5080 - ce sont celles qui donnent vraiment la boost qu'il faut pour les tâches parallèles. Mais d'abord essaie d'optimiser ta config actuelle : baisse la résolution du stream à 1440p ou même Full HD, diminue le débit, mets tes fichiers sur un SSD séparé. Ça aide souvent!