A mudança depende muito de quanto você ganha e quantos clientes tem. Se está acima de 5 mil euros mensais estáveis, vale a pena avaliar seriamente o regime comum porque no forfetário você paga impostos sobre todo o faturamento (depois da dedução forfetária) mesmo assim, enquanto com IVA você consegue descontar aquela que paga em despesas e materiais. Mas cuidado: com IVA comum você tem mais obrigações burocráticas, precisa emitir notas com IVA, fazer declarações de IVA trimestrais ou mensais, e o contador vai custar mais do que custa agora. Não é uma escolha que se faz de improviso.
A verdadeira conveniência seu contador calcula com os números precisos: o custo da estrutura fiscal (contador incluído), as despesas que você pode descontar, a carga fiscal total. Eu leria o orçamento que ele fez para você e pediria por escrito quanto você economizaria por mês com a mudança. Tem também outro fator: tem certeza de que vai manter esses ganhos? Se é uma fase temporária, a mudança pode não compensar. Se em vez disso é estável e crescente, aí sim, apostar no regime comum faz sentido.
Uma coisa que frequentemente não se considera: com forfetário você é "fácil" de gerenciar e atrai menos atenções, enquanto IVA comum coloca seus números mais em evidência. Não é algo ruim, mas é um estresse burocrático a mais. Converse de novo com seu contador e peça um documento comparativo, não só as opiniões dele. E de qualquer forma, se decidir mudar, faça do início do ano fiscal, é menos bagunça.