A parte frustrante é que o YouTube trata o cache de Shorts como uma funcionalidade essencial, não como algo opcional. Você não consegue desativar isso completamente com um simples clique, mas tem mais controle granular do que simplesmente limpar todo o cache do app. No próprio YouTube, vá para Configurações > Geral e procure por configurações de "Download" ou "Offline" - algumas versões permitem restringir downloads automáticos. Mais importante ainda, verifique Configurações > Apps > YouTube > Permissões e veja se consegue revogar ou limitar "Modificar configurações do sistema" ou "Escrever no armazenamento externo", embora isso possa desativar alguns recursos.
A solução real que a maioria das pessoas ignora é gerenciar no nível do Android em vez de brigar diretamente com o YouTube. Vá para Configurações > Armazenamento > Gerenciar Armazenamento (varia conforme o fabricante do celular), e frequentemente consegue ver exatamente quanto espaço o YouTube está ocupando. Você também pode definir limites de armazenamento específicos por app se o seu celular suportar - em alguns aparelhos isso fica em Opções do desenvolvedor. Algumas pessoas configuram uma tarefa recorrente usando um app de automação para limpar o cache do YouTube em um cronograma, digamos semanalmente, sem apagar o resto. Não é elegante, mas funciona muito melhor do que limpar manualmente toda vez que você nota o problema.
Uma última coisa: se estiver realmente cansada disso, sempre tem YouTube Vanced ou clientes de terceiros similares que te dão controle de verdade, embora venham com seus próprios compromissos em relação a atualizações e estabilidade.