En realidad, "no se utiliza" es una formulación incorrecta, porque la VRAM funciona como búfer, no como almacenamiento que deba estar lleno al 100%. Tu tarjeta simplemente asigna exactamente la cantidad de memoria que requiere la escena actual, y eso es completamente normal - la VRAM sobrante no te da nada.
Si quieres verificar que todo está bien, usa FCAT o cambia entre juegos de diferentes demandas: notarás que en títulos más exigentes el volumen de memoria aumenta. Los controladores no tienen nada que ver en esto - la tarjeta gráfica misma gestiona la distribución de memoria según la carga.