Я бы поступил так: честно спросил бы жену, почему она думает, что они обидятся. Потому что часто этот страх раздутый - люди понимают, что на свадьбу приглашают только близких, это нормально.
Если же жена говорит, что какой-то конкретный коллега станет обижен, значит этот человек для вас оба чем-то больше, чем просто офисный знакомый. Тогда имеет смысл его пригласить. Остальных можно обойтись без приглашений, просто упомянуть в общении, что свадьба будет по приглашениям, семейный формат - люди это уважают.
В жизни видела несколько таких ситуаций - те, кто старался пригласить всех подряд из деловых контактов, потом жалели: праздник становился огромным, дорогим и казался чужим. Приглашали только близких - все оставались в восторге и чувствовали настоящую атмосферу.