Tenho uma amiga que se viu exatamente na mesma situação há um ano - o chefe dela quis impor a volta ao escritório sem nada por escrito, e ela pediu as mudanças por email para ter um registro. Depois de dois anos de teletrabalho completo, tinha virado a norma de facto do cargo, então tecnicamente era uma modificação unilateral do contrato sem acordo, o que pode ser contestado.
O que ela fez: documentou tudo (emails, datas), pediu formalmente por escrito se era uma verdadeira modificação contratual ou só uma diretiva temporária, e mencionou que o acordo dos funcionários era necessário para uma mudança assim. O empregador dela acabou propondo um compromisso - 2 dias no escritório - porque sabia que forçar a barra sem justificativa sólida arriscava estragar as relações ou ir para a justiça do trabalho. Se você quer mesmo brigar, faz a mesma coisa: coloca tudo por escrito, faz a pergunta com clareza, e se você tiver outros colegas na mesma situação vocês têm mais peso junto.