O fato de ele entender tudo o que você diz é bem tranquilizador, porque significa que a compreensão está aí. Há muita variabilidade nessa idade, e alguns meninos simplesmente são mais observadores antes de começar a soltar palavras de uma vez. Dito isso, uma consulta com fonoaudiólogo nunca é demais, não por alarme mas porque é o profissional que consegue fazer uma avaliação real e te tirar das dúvidas de verdade.
O que muitas vezes se passa por alto é que enquanto você espera ou decide o que fazer, pode estar mais atento a como ele tenta se comunicar de outras formas. Ele aponta coisas que quer? Faz sons, gestos, tenta te imitar? Busca sua atenção? Isso importa tanto quanto as palavras. Às vezes um menino que fala pouco mas é muito expressivo em outros aspectos está completamente bem. Se além disso é ativo e social, isso também conta.
Não precisa ser uma decisão de "agora" ou "nunca". Você consegue agendar uma consulta para dentro de um mês ou dois, mas sem ansiedade. Enquanto isso, expô-lo a mais linguagem em situações normais (cantar, brincar, nomear coisas) não incomoda ninguém. Mas se quando o fonoaudiólogo vir ele te disser que está dentro dos parâmetros, ao menos você dorme tranquilo e deixa de compará-lo com outras crianças.