Просто используй «who» в неформальных контекстах и перестань об этом беспокоиться. Честно, большинство людей не заметят, а те, кого это волнует, всё чаще воспринимаются как педанты. Само правило, правда, простое: «who» - это подлежащее предложения (человек, который что-то делает), а «whom» - это дополнение (человек, с которым что-то делают). Так что «who did you talk to» технически нарушает правило - должно быть «whom did you talk to», потому что человек получает действие разговора. Но в реальной жизни, особенно в текстах и письмах друзьям, буквально никто тебя не осудит за использование «who».
Даже в рабочих письмах стиль важен меньше, чем ты думаешь. Если ты пишешь коллеге «who should I contact about this?» или «who did you see at the conference?» - всё в порядке. Единственное место, где «whom» ещё регулярно встречается - это формальные тексты, вроде писем при поступлении или официальной корреспонденции, и то это становится всё реже. Если ты действительно хочешь быть в безопасности и звучать естественно в неформальном письме, используй «who» везде. Язык всё равно развивается в этом направлении.