Sem os dados de administrador, tu não consegues entrar, desculpa. Não consegues simplesmente entrar na interface web e mudar a senha do Wi-Fi sem te autenticar primeiro. E não, também não consegues acessar isso pela própria rede Wi-Fi - é exatamente o que a segurança aqui protege.
Tua única opção é fazer um reset no router. No caso de um Fritzbox, existe um pequeno botão de reset (geralmente atrás ou embaixo, às vezes escondido numa reentrância), que tens que pressionar com algo pontiagudo como um clipe de papel por uns 10-15 segundos enquanto o aparelho está ligado. Depois o router reinicia e todas as configurações desaparecem - inclusive os dados de administrador antigos. Aí consegues te conectar com os dados de acesso padrão (geralmente admin/vazio ou algo parecido, vê no manual de instruções ou na parte de trás do router).
Importante: Depois do reset perdes também todas as outras configurações - então as configurações de internet do teu provedor, possíveis redirecionamentos de portas, tudo desaparece. Depois tens que configurar o router do zero. É bastante trabalho, mas se não tens mais os dados de acesso, não te resta outra opção. Desta vez anota os dados de administrador ou guarda-os em algum lugar, pra isso não acontecer de novo.