Eu tive exatamente a mesma frustração uns anos atrás quando minha irmã não parava de me chamar a atenção por ignorar as mensagens dela.
A coisa é que, se você desligou as confirmações de leitura em Configurações > Privacidade > Confirmações de Leitura, isso na verdade deveria estar funcionando do seu lado - seus contatos não vão ver as marcas azuis quando você ler as coisas deles.
O que provavelmente está acontecendo é que eles tão só notando que você está ativo ou online (que aparece separadamente), ou tão vendo seu timestamp de "última visualização" e deduzindo por aí.
Se você realmente quer entrar em modo fantasma total, você precisaria desligar "Última Visualização" nessa mesma seção de Privacidade, e talvez desabilitar seu status online também - é geralmente isso que tá te denunciando mais do que as confirmações de leitura na real.