La parte frustrante es que YouTube trata el caché de Shorts como una función principal, no como algo opcional. No puedes simplemente desactivarlo por completo, pero tienes más control que solo borrar todo el caché de la app. En la app de YouTube, ve a Configuración > General y busca opciones de "Descargas" u "Offline" - algunas versiones te permiten restringir las descargas automáticas. Lo más importante es que revises Configuración > Apps > YouTube > Permisos y veas si puedes revocar o limitar "Modificar configuración del sistema" o "Escribir en almacenamiento externo", aunque esto podría afectar algunas funciones.
La solución real que la mayoría se pierde es gestionarlo a nivel de Android en lugar de pelear directamente con YouTube. Ve a Configuración > Almacenamiento > Administrar almacenamiento (varía según el fabricante del teléfono), y generalmente puedes ver exactamente cuánto espacio ocupa YouTube. También puedes establecer límites de almacenamiento específicos de la app si tu teléfono lo permite - en algunos dispositivos esto está en Opciones de desarrollador. Algunos configuran una tarea recurrente usando una app de automatización para limpiar el caché de YouTube según un horario, digamos semanalmente, sin borrar todo lo demás. No es la solución más elegante, pero funciona mucho mejor que limpiar manualmente cada vez que te das cuenta del problema.
Una última cosa: si realmente estás harto, siempre está YouTube Vanced u otros clientes de terceros similares que te dan control real, aunque tienen sus propios inconvenientes respecto a actualizaciones y estabilidad.