As costas retas na verdade não são o ideal para agachamentos, e é provável que isso seja parte do problema. Você precisa de uma pequena inclinação natural para frente a partir dos quadris, não uma rigidez total. O que realmente importa é manter a coluna neutra, ou seja, que ela siga sua curva natural sem hiperextendê-la nem arredondá-la. Se você está forçando uma verticalidade absoluta, está metendo uma tensão estranha na zona lombar.
A dor quase sempre vem de uma combinação: falta de mobilidade nos tornozelos ou quadris, fraqueza no core, ou simplesmente uma posição que não funciona para seu corpo. Tente abaixar o peso de verdade (ou faça agachamentos sem nada), tente que os joelhos sigam a linha dos pés e que o peito vá um pouco para frente. Alguns acham útil fazer agachamentos mais superficiais enquanto arrumam o padrão de movimento. Se você tem os tornozelos tensos, isso também o obriga a compensar com a zona lombar.
Se a dor persistir mesmo que você corrija isso, talvez haja algo mais que exija que você deixe os agachamentos profundos por um tempo e trabalhe só o fortalecimento do core. Mas antes de chegar aí, foque na técnica sem carga e em como seu corpo se move realmente, não em como você acha que deveria parecer.