Hier wird ein bisschen der falsche Ansatz an die Wahl herangetragen - man muss nicht unbedingt gleich auf eine Top-Karte springen, wenn die aktuelle nicht mit der Last klarkommt. Das Problem liegt oft nicht an der reinen Leistung der Grafikkarte, sondern daran, wie man die Aufgaben verteilt. Eine RTX 3080 ist durchaus in der Lage, gleichzeitig ein Spiel zu spielen und das Encoding über NVENC zu bewältigen, wenn man Bitrate und Auflösung des Streams richtig einstellt. Vielleicht ist es einfach so, dass du versuchst, überall gleichzeitig das Maximum rauszuquetschen - 4K im Spiel, 4K im Stream, maximale Encoding-Qualität?
Meine Freundin ist mal in eine ähnliche Situation geraten: Sie hat sich eine stärkere Karte gekauft, aber das hat fast nichts gebracht, bis sie OBS neu konfiguriert hat. Es stellte sich heraus, dass sie das Spiel auf hohen Einstellungen laufen ließ und den Stream gleichzeitig mit maximaler Bitrate sendete, und dann versuchte sie auch noch, Videos in After Effects auf demselben System zu bearbeiten. Als sie die Aufgaben aufgeteilt hat - Spiel auf einer Festplatte, Stream-Aufnahme auf einer anderen, Videobearbeitung nach dem Stream - ist alles an seinen Platz gefallen. Die RTX 3080 funktioniert perfekt, wenn man nicht alles auf einmal macht.
Bei NVENC hast du recht, es ist praktischer als AMD-Lösungen. Falls du dich doch für eine neue Karte entscheidest, schau dir die RTX 4090 oder 5090 an, nicht die 5080 - genau diese bieten den nötigen Leistungssprung für parallele Aufgaben. Aber probiere erst mal, deine aktuelle Einstellung zu optimieren: Reduziere die Stream-Auflösung auf 1440p oder sogar Full HD, senke die Bitrate, verschiebe die Dateien auf eine separate SSD. Das hilft oft!