As bebidas de aveia têm bem menos proteína do que leite normal - isso é a primeira coisa que você deveria checar se for só mudar assim do nada. Na Oatly e produtos parecidos são tipicamente uns 2g por 100ml, no leite integral é o dobro ou mais. Então se você não tem problemas com lactose e sua digestão funciona bem, você tá na verdade estragando algo que funcionava perfeitamente antes. Esse marketing de "melhor para o intestino" só funciona mesmo com quem tem problemas reais - para todo o resto é só um produto diferente, não automaticamente melhor.
No quesito sabor você ia sentir a diferença, sim. Bebidas de aveia têm gosto adocicado e um pouco diferente, tem gente que acha sensacional, outros acham artificial. Aqui o que deve importar é só: o que você mesmo gosta? Se você toma leite normalmente e gosta do sabor, não tem razão nenhuma para trocar só porque tá na prateleira do supermercado. Fica crítica com essas tendências - só porque um produto é anunciado de forma fancy não significa que é melhor para sua situação.