Com uma RTX 4060 e i5-12400F você deveria conseguir jogar tranquilo em ambos os títulos, pelo menos a 1080p com configurações médio-altas. O fato de o framerate cair no meio da partida me faz pensar que não seja um problema de hardware insuficiente, mas sim algo que acumula durante a gameplay. Provavelmente RAM - quanto você tem? Baldur's Gate 3 e Starfield são bem famintos, especialmente BG3 que entre 16 e 24 GB é dia e noite. Se você tem só 8GB, essa é já a causa número um. Verifique também se está usando uma velocidade de RAM não ideal - às vezes a BIOS não configura bem por padrão.
Outra coisa que vejo bastante é o throttling térmico. Depois de meses de uso o PC acumula poeira e a ventilação piora, tipo quando eu era preguiçosa em limpar meu case alguns anos atrás - foi só fazer uma boa limpeza interna e o problema desapareceu. Verifique as temperaturas da GPU e da CPU sob carga com uma ferramenta como HWInfo64. Se ultrapassam 80-85°C na GPU você já está em zona perigosa. Tenta também baixar um pouco as configurações gráficas, especialmente ray tracing e upscaling - às vezes DLSS ou FSR mal configurados causam instabilidade. E sim, limpar os drivers é bom, mas certifique-se de desinstalar os antigos antes, não só sobrescrever.
Uma última coisa: Starfield em particular teve bastantes problemas de otimização no lançamento em 2023, e melhorou com as atualizações mas não é perfeito. Se o problema é mais localizado naquele jogo, pode ser também um bug com sua configuração específica. Dê uma olhada também em quanta VRAM você está usando - se passar dos 6GB da sua placa (que aliás é o limite), Windows começa a swappear para RAM principal e tudo fica lento.