Io farei così: chiederei onestamente a mia moglie perché pensa che si offenderebbero. Perché spesso questa paura è esagerata - la gente capisce che a un matrimonio si invitano solo i cari, è normale.
Se invece mia moglie dice che un certo collega specifico si offenderebbe, significa che questa persona per noi due è qualcosa di più di un semplice conoscente d'ufficio. Allora ha senso invitarlo. Gli altri puoi farne a meno, semplicemente menzionare in una conversazione che il matrimonio sarà su invito, formato familiare - la gente lo rispetta.
Nella vita ho visto diverse situazioni così - quelli che cercavano di invitare tutti quanti dai contatti di lavoro, poi se ne pentivano: la festa diventava enorme, costosa e sembrava estranea. Invitavano solo i cari - tutti rimanevano entusiasti e sentivano un'atmosfera vera.