Restringir o acesso ao microfone direto nas configurações do sistema é o jeito mais simples e confiável de controlar a situação. No Android, entra em «Aplicativos» → escolhe o que quiser → «Permissões» → desativa o microfone. No iOS é a mesma coisa, mas pelos «Ajustes de privacidade». O app não vai quebrar - ele simplesmente não conseguirá acessar o microfone quando você não estiver usando especificamente para ligações ou mensagens de voz.
Muitos aplicativos realmente precisam de acesso para suas funções: mensageiros precisam disso para mensagens de voz, players podem usar o microfone para comandos de voz ou análise de áudio. Mas tem um detalhe - alguns pedem acesso permanente só por hábito ou porque fica mais fácil para os desenvolvedores, sem prejudicar a funcionalidade.
Dica: configura a permissão como «Apenas ao usar o app» em vez de «Sempre». Na maioria dos smartphones modernos é exatamente essa a opção que vem por padrão. Nesse modo o app consegue ligar o microfone só quando tá em primeiro plano, e não roda em background. Em termos de segurança tá tranquilo - sem risco nenhum, e você fica mais segura.