Não é bem que a matemática valide as transações - é mais a criptografia que faz isso funcionar. Basicamente, cada bloco de transações tem um hash, que é como uma impressão digital gerada por uma fórmula matemática; se alguém tentar mexer numa transação antiga, o hash muda completamente, e toda a gente vê que houve fraude. O Bitcoin usa isso para criar uma corrente de blocos (daí "blockchain") onde cada um aponta para o anterior, tornando praticamente impossível falsificar histórico. A matemática também entra na parte da prova de trabalho, onde os computadores têm de resolver puzzles complexos para adicionar novos blocos - quanto mais computadores verificam, mais segura fica a rede.