Ein guter Mittelweg ist es, nur die Kollegen einzuladen, mit denen ihr auch außerhalb der Arbeit verkehrt, oder diejenigen, die deine Frau einladen möchte. Falls die Beziehungen wirklich nur beruflich sind, kannst du ehrlicher vorgehen - nicht einladen, aber das Ganze vorher in ungezwungener Atmosphäre ansprechen und erklären, dass ihr die Feier im ganz engen Kreis halten möchtet. Menschen verstehen diesen Ansatz meist viel besser, als das Gefühl zu haben „mich haben sie eingeladen, weil sie keine elegante Möglichkeit hatten, abzulehnen".
Das Wichtigste ist, dich danach nicht hin- und herzureißen zwischen den Varianten und keine Doppelstandards zu schaffen (den einen einladen, den anderen nicht). Das wird sich schnell im Büro herumsprechen und wirklich verletzen.