Eu faria assim: conversaria honestamente com minha esposa sobre por que ela acha que eles vão se ofender. Porque muitas vezes esse medo é exagerado - as pessoas entendem que casamento é coisa de convidados próximos, isso é normal.
Se a esposa disser que um colega específico vai ficar ofendido, significa que essa pessoa é mais do que um simples conhecido do escritório para vocês dois. Aí faz sentido convidá-lo. Os outros dá pra dispensar o convite, é só mencionar na conversa que o casamento vai ser por convite, formato familiar - as pessoas respeitam isso.
Já vi algumas situações assim na vida - quem tentava convidar todo mundo dos contatos profissionais depois se arrependia: a festa ficava gigante, cara e parecia estranha. Quando convidavam só os próximos - todos ficavam encantados e sentiam a atmosfera de verdade.