Usa 'who' em contextos casualizados e para de se preocupar com isso. Sério, a maioria das pessoas não vai notar, e quem se importa está cada vez mais visto como pedante. A regra em si é simples: 'who' é para o sujeito da frase (a pessoa que está fazendo algo), e 'whom' é para o objeto (a pessoa para quem algo está sendo feito). Então "who did you talk to" tecnicamente quebra a regra - deveria ser "whom did you talk to" porque a pessoa está recebendo a ação de conversar. Mas na vida real, especialmente em mensagens e e-mails para amigos, literalmente ninguém vai te chamar a atenção por usar 'who'.
Até em e-mails de trabalho, o registro importa menos do que você pensa. Se você estiver mandando mensagem para um colega "who should I contact about this?" ou "who did you see at the conference?" está tudo bem. O único lugar onde 'whom' ainda aparece regularmente é em redações formais - tipo cartas de candidatura ou correspondência oficial - e mesmo assim está ficando raro. Se você realmente quer estar segura e soar natural em textos casualizados, use 'who' em tudo. A linguagem está mudando nessa direção de qualquer forma.