Con una RTX 4060 e un i5-12400F deberías poder jugar tranquilo en ambos títulos, al menos a 1080p con configuración media-alta. El hecho de que se te caiga el framerate a mitad de partida me hace pensar que no es un problema de hardware insuficiente, sino más bien de algo que se acumula durante el gameplay. Probablemente RAM - ¿cuánta tienes? Baldur's Gate 3 y Starfield son bastante hambrientos, sobre todo BG3 que entre 16 y 24 GB es de día y noche. Si tienes solo 8GB, esa ya es la causa número uno. Comprueba también si estás usando una velocidad de RAM no óptima - a veces la BIOS no la configura bien por defecto.
Otra cosa que veo muy a menudo es el throttling térmico. Después de meses de uso el PC acumula polvo y la ventilación empeora, tipo cuando yo era perezosa para limpiar mi case hace unos años - me bastó hacer una buena limpieza interna y el problema desapareció. Comprueba las temperaturas de la GPU y la CPU bajo carga con una herramienta como HWInfo64. Si superan los 80-85°C en la GPU ya estás en zona peligrosa. Intenta también bajar un poco la configuración gráfica, especialmente ray tracing y upscaling - a veces DLSS o FSR mal configurados causan inestabilidad. Y sí, limpiar drivers está bien, pero asegúrate de desinstalar los antiguos antes, no solo sobrescribirlos.
Una última cosa: Starfield en particular tuvo bastantes problemas de optimización al lanzamiento en 2023, y ha mejorado con las actualizaciones pero no es perfecto. Si el problema está más localizado en ese juego, podría ser también un bug con tu configuración específica. Echa un vistazo también a cuánta VRAM estás usando - si pasas de los 6GB de tu tarjeta (que de todas formas es el límite), Windows empieza a hacer swap en RAM principal y todo se ralentiza.