Não há uma resposta única porque raramente o colapso de uma civilização é devido a uma única causa. O que você lê está certo, a história não é linear. Pensa nos Maias clássicos: não desapareceram do nada, mas uma combinação de secas prolongadas, pressão demográfica, guerras internas e desflorestamento os levou ao colapso entre 700 e 1000 d.C. O mesmo vale para a civilização minoica em Creta ou a do Bronze Tardio no Levante. Sempre havia um mix: mudanças climáticas drásticas, invasões, doenças, economia desmoronando, conflitos políticos internos. Às vezes eram décadas, às vezes séculos (o que alguém chama de "rápido" é relativo quando falamos de épocas históricas).
O ponto é que as civilizações complexas são frágeis justamente porque são complexas. Dependem de redes comerciais, de sistemas agrícolas específicos, de equilíbrios políticos delicados. Se desmoronam dois-três pilares simultaneamente, o efeito dominó é rápido. A elite para de manter as infraestruturas, a população se dispersa, o conhecimento escrito se perde ou deixa de ser transmitido. Não é que todos morressem: frequentemente as pessoas simplesmente abandonavam as cidades e voltavam a viver de forma mais dispersa e menos complexa. Os sucessores eram eles mesmos, mas em uma forma de sociedade muito diferente.
O motivo por que você não encontra uma resposta única é que ela não existe. Ler mais fontes é a escolha certa porque cada uma te mostra um pedaço do quebra-cabeça. A chave é entender que o "colapso" nunca é uma coisa só: é sempre uma tempestade perfeita de fatores ambientais, demográficos, políticos e econômicos que convergem.