Aquí hay un enfoque un poco incorrecto para elegir - no tienes que saltar inmediatamente a una tarjeta de gama alta si la actual no aguanta la carga. El problema muchas veces no está en la potencia de la tarjeta gráfica en sí, sino en cómo distribuir las tareas. Una RTX 3080 es totalmente capaz de ejecutar un juego y hacer codificación por NVENC simultáneamente, si configuras correctamente el bitrate y la resolución del stream. Quizá sea simplemente que intentas sacarle el máximo a todo a la vez: 4K en el juego, 4K en el stream, máxima calidad de codificación.
Mi amiga se enfrentó a una situación parecida en algún momento: compró una tarjeta más potente, pero sirvió de muy poco hasta que no reconfiguró OBS. Resultó que estaba corriendo el juego con configuración alta y el stream a bitrate máximo al mismo tiempo, y luego además intentaba procesar vídeo en After Effects en el mismo sistema. Cuando dividió las tareas - juego en un disco, grabación del stream en otro, procesamiento de vídeo después del stream - todo se acomodó. La RTX 3080 funciona perfecto si no haces todo en el mismo momento.
En cuanto a NVENC tienes razón, es más conveniente que las soluciones de AMD. Si de todas formas decides cambiar de tarjeta, mira la RTX 4090 o la 5090, no la 5080 - precisamente esas dos dan el salto que necesitas para tareas paralelas. Pero primero intenta optimizar tu configuración actual: baja la resolución del stream a 1440p o incluso Full HD, reduce el bitrate, mueve los archivos a un SSD diferente. ¡Muchas veces funciona!