O que importa aqui é distinguir entre uma preocupação legítima e o controle emocional é complicado, mas a chave está em como se comunica. Se seu namorado simplesmente te diz "isso me incomoda" e depois respeita sua decisão mesmo que não goste, isso é diferente de te dar um ultimato ou ficar chateado cada vez que você menciona o ex. O desconforto nesse tipo de situação é normal - muitos casais sentem insegurança com os exes - mas o que distingue um relacionamento saudável é como se negocia.
Pense em algumas coisas: com que frequência é o contato?, é completamente platônico ou há algo que não termina de se sentir confortável?, seu namorado tem razões específicas para desconfiar ou é insegurança só?, Porque há um ponto intermediário entre "você corta todo o contato ou terminamos" e "faz o que quiser sem limites". Você poderia combinar que a amizade existe mas que seja discreta, que não haja confidências de casal compartilhadas com o ex, ou simplesmente que você o avise quando vai conversar com essa pessoa. Isso não é ceder tudo, é mostrar que você respeita o relacionamento atual.
O importante é que você também tenha voz na conversa. Se você sente que seu namorado é controlador em outras coisas além disso - que te diga com quem falar, para onde ir, etc. - aí sim há um problema maior. Mas se é só esse tema, vale a pena ter uma conversa tranquila onde você explique por que essa amizade importa para você e realmente ouça por que gera insegurança nele. Às vezes a solução não é cortar o contato nem deixar que ele faça o que bem entender, mas se entenderem melhor.