Se o motor de arranque está girando normalmente, então a bateria não é culpada. Com menos cinco graus, o problema geralmente está no sistema de combustível ou nas velas de ignição. A primeira coisa a verificar é o estado das velas. Com o frio, elas frequentemente falham, especialmente se não forem trocadas há muito tempo. Tenta desaparafusá-las e olha o espaçamento e o depósito de carbono, ou simplesmente troca-as por novas - é uma solução barata e que geralmente funciona.
Segundo - filtro de combustível e bomba. Se o filtro estiver entupido, o combustível pode não estar chegando na quantidade necessária, e no frio isso se manifesta imediatamente. A bomba também pode dar problema no congelamento, embora a bateria nova descarte uma falha total da parte elétrica. Também lembra-te de que no frio o combustível fica mais espesso, e se o teu for de qualidade ruim, pode não passar direito pelo sistema.
Ainda tem mais um detalhe - verifica se não tem problemas com a ignição. Tenta girar a chave e ficar uns 10-15 segundos para dar tempo da bomba bombear combustível, aí depois tenta dar a partida. Se isso ajuda, então o problema é mesmo no sistema de combustível. Se não muda nada, vai para uma diagnose - lá eles leem os erros do computador do carro, e logo fica claro o que está acontecendo.