Você está esbarrando na diferença entre o que seus olhos veem e o que o algoritmo realmente otimiza. Pessoal acima mandou bem no ponto central - é tudo sobre minimizar *tempo*, não distância - mas há uma camada prática que vale a pena entender: Google Maps está constantemente recalibrando com base em quando você vai estar dirigindo.
Então não é só "a rodovia X tem limite de velocidade de 65 mph". O sistema sabe que às 3 da tarde de uma terça-feira, aquela rodovia fica congestionada perto da saída do centro, caindo para 15 mph por 2 milhas. Enquanto isso, sua rota mais longa e cênica pode ter 8 milhas em vez de 6, mas flui a 50 mph constantes o tempo todo. A matemática funciona: 8 milhas a 50 mph é melhor que 6 milhas quando 2 delas se arrastam a 15 mph. Some aí coisas como padrões de semáforos em ruas locais, restrições de conversão e geometria da via (curvas apertadas desaceleram você), e de repente uma rota que parece "mais longa" no mapa é genuinamente mais rápida nas condições reais de direção.
A parte complicada é que essa previsão fica melhor quanto mais dados Google coleta, mas ainda pode errar - especialmente se há um acidente que você pega bem quando está dirigindo, ou se padrões de tráfego mudaram desde a última atualização deles. Por isso às vezes você vai questionar o app e ele acaba acertando mesmo assim, ou por que ocasionalmente você tem a sensação de que ele mandou você para o lado errado. O algoritmo está fazendo seu melhor palpite com base em padrões históricos, não vendo realmente a estrada neste momento.