Lo que pasa es que tú y tus colegas tienen una carta que jugar: si no estaba escrito en el contrato y lleváis trabajando así dos años, se ha convertido en una práctica establecida. El empleador no puede simplemente imponer un cambio de la noche a la mañana sin negociar, tiene que daros un plazo (varias semanas como mínimo, no unos cuantos días) y técnicamente es una modificación de contrato.
Si sois varios en la misma situación, podríais pedir una reunión colectiva para discutirlo, o al menos enviar un correo profesional a tu jefe diciendo que pides un período de transición y quizá un ajuste (por ejemplo 2 días en la oficina en lugar de 4, o una fórmula flexible). Si realmente se niega a cualquier diálogo y es un problema para ti, puedes consultar a un abogado laboral o contactar con los juzgados de lo social, pero la verdad es que muchas veces simplemente plantear la cuestión educadamente obliga a las empresas a ser más razonables con los plazos y las condiciones.