Тут немного неправильный подход к выбору - не обязательно сразу скакать на топовую карту, если текущая не справляется с нагрузкой. Проблема часто не в мощности видеокарты как таковой, а в том, как распределить задачи. RTX 3080 вполне способна одновременно тянуть игру и кодирование через NVENC, если правильно настроить битрейт и разрешение стрима. Может быть, дело просто в том, что вы пытаетесь выжать максимум везде сразу - 4K в игре, 4K в стриме, максимальное качество кодирования?
У меня подруга как-то столкнулась с похожей ситуацией: купила карту помощнее, но толку было минимум, пока не переконфигурировала OBS. Оказалось, она гнала и игру на высоких настройках, и стрим на максимальном битрейте одновременно, а потом ещё пыталась обрабатывать видео в After Effects на той же системе. Когда она разделила задачи - игра на одном диске, запись стрима на другом, обработка видео после стрима - всё встало на свои места. RTX 3080 справляется отлично, если не делать всё в один момент.
По части NVENC вы правы, он удобнее, чем AMD решения. Если всё же решитесь на новую карту, смотрите RTX 4090 или 5090, а не 5080 - именно они дают нужный прирост для параллельных задач. Но сначала попробуйте оптимизировать текущую настройку: снизьте разрешение стрима до 1440p или даже Full HD, уменьшите битрейт, переместите файлы на отдельный SSD. Часто помогает!