Aos 14 anos, é muitas vezes uma fase em que os amigos ficam super importantes, então pode ser só isso sem nada de grave por trás. O negócio é ter uma conversa bem aberta com ele sem o colocar na defensiva - não "por que você recusa ir para casa do seu pai", mas sim ouvir o que ele te conta sobre seus fins de semana, o que ele gostaria de fazer, se tem alguma coisa que o deixa desconfortável lá. Às vezes nessa idade os adolescentes acham só que não é legal o suficiente ou tem pequenas coisas que os irritam que a gente não vê de fora.
Uma vez que você entende melhor, você pode também eventualmente conversar com o pai dele para tentar encontrar um compromisso - talvez menos fins de semana fixos, ou coisas que ele realmente gostaria de fazer na casa dele. A ideia é que seu filho sinta que a gente o ouve e não o força, senão vai só o irritar mais.