Золотой середине служит приглашение только тех коллег, с которыми вы общаетесь и вне работы, либо те, кого приглашает ваша жена. Если же отношения действительно только офисные, можно поступить честнее - не приглашать, но предупредить об этом заранее в неформальной обстановке, объяснив, что решили сделать торжество совсем узким кругом. Люди обычно понимают такой подход куда лучше, чем ощущение "меня пригласили, потому что не было ловкого способа отказать".
Главное - не колебаться потом между вариантами и не создавать двойных стандартов (одного пригласить, другого нет). Это быстро станет известно в офисе и действительно обидит.