Utilise simplement « qui » dans les contextes informels et arrête de t'en faire. Sérieusement, la plupart des gens ne remarqueront rien, et ceux qui s'en soucient sont de plus en plus vus comme des puristes. La règle en elle-même est simple pourtant : « qui » est pour le sujet d'une phrase (la personne qui fait quelque chose), et « que » est pour le complément (la personne à qui on fait quelque chose). Donc « qui tu as parlé à » techniquement ne respecte pas la règle - ce devrait être « que tu as parlé à » parce que la personne reçoit l'action de parler. Mais dans la vraie vie, surtout dans les textos et les emails à des potes, littéralement personne ne te fera remarquer d'avoir utilisé « qui ».
Même dans les emails pro, le registre compte moins que tu le penserais. Si tu textes un collègue « qui je dois contacter pour ça ? » ou « qui tu as vu à la conférence ? » tu es bon. Le seul endroit où « que » apparaît régulièrement c'est l'écrit formel - comme les lettres de candidature ou la correspondance officielle - et même là c'est de plus en plus rare. Si tu veux vraiment être tranquille et sonner naturelle dans l'écrit informel, utilise « qui » partout. La langue évolue de toute façon dans ce sens.