A queda de tensão em marcha lenta é totalmente normal, mas não deveria causar cintilação visível como você está descrevendo. Quando o motor funciona mais lentamente, o alternador gera menos potência, então a tensão do sistema cai naturalmente um pouco - é só física. O que importa é se está caindo o suficiente para fazer suas luzes piscarem de verdade, o que sugere que algo está trabalhando mais do que deveria.
Tive esse problema exato alguns anos atrás. Minha tensão ficava em torno de 12,8V em marcha lenta em vez de 13,5+ como deveria ser, e tudo escurecia quando parado. Descobri que os terminais da bateria estavam corrosivos por baixo das garras do cabo - não havia corrosão visível por cima, mas o suficiente para criar resistência. Limpei tudo, troquei a bateria por precaução já que era velha mesmo, e pronto, problema resolvido. Então, sim, verifique os terminais da bateria primeiro - solte os cabos, limpe bem as conexões com uma escova de arame e certifique-se de que estão bem apertados. Se isso não resolver, então você está olhando para uma bateria fraca ou um alternador que está perdendo potência.
As outras pessoas mencionando o alternador não estão erradas - é definitivamente possível. Mas antes de gastar dinheiro em uma substituição, pegue um multímetro barato e verifique qual é sua tensão de carga em marcha lenta. Se estiver abaixo de 13V consistentemente, seu alternador provavelmente está para dar o toco. Se estiver mais próximo do normal mas a bateria for velha (mais de 4-5 anos), a bateria em si pode não estar mantendo a carga bem o suficiente para lidar com a carga quando as rotações estão baixas.