Ладно, это раздражающая ситуация. Честно говоря, ты должен просто быть прямолинеен и честен - не придумывай оправдание, которое не держит воду, потому что он это почувствует и потом на работе будет еще более неловко. Просто скажи ему, что у тебя конфликт с расписанием или что ты не можешь освободиться в сентябре, всё. Можешь добавить что-то вроде "я бы хотел быть там, но это невозможно" чтобы он не думал, что это что-то личное. Большинство людей понимают, что не все могут прийти, даже с приглашением. Это нормально, получаешь приглашения от коллег, на которые ты не можешь или не хочешь ходить, ничего страшного.
Главное - сделай это рано, не типа за две недели до. Свяжись с ним быстро через сообщение или лично на работе, скажи напрямую, и всё - продолжаешь нормально с ним работать. Не нужно откладывать это или чувствовать себя виноватым, это правда не важно. Чувак получит кучу других гостей, он не будет жевать твой ответ. Люди отказываются от свадеб постоянно по разным причинам. Просто будь вежлив, скажи ему быстро, и дальше живём.