Não saia logo culpando o próprio Discord ou sua internet - frequentemente o problema é que o aplicativo está consumindo recursos demais. Abre o Gerenciador de Tarefas (ou o equivalente no macOS) e vê quanto de memória o Discord está usando enquanto está em uso. Se o número estiver nas alturas, então é exatamente isso. Tenta desativar a aceleração por hardware nas configurações do aplicativo - vai em User Settings, depois Voice & Video, e procura a opção sobre accelerated graphics. Pra muita gente funciona quando o processador gráfico está entrando em conflito com o sistema.
Também vê quantas extensões e bots estão conectados aos servidores em que você está. Se tiver muitos, eles podem estar criando carga na sua conexão e no próprio Discord. Desativa os que você não tá usando ativamente. E verifica se tem atualizações - às vezes uma versão nova do aplicativo entra em conflito com o sistema operacional, especialmente se seu Windows ou macOS não é atualizado há muito tempo.
Se nada disso funcionar, aí sim vale a pena verificar sua rede em si - mas deixa isso por último, quando tiver descartado tudo o mais.