Não é necessariamente um problema geral com tomadas USB integradas - muitas carregam bem de verdade. Mas depende muito da qualidade e do modelo que você comprou. Variantes mais baratas costumam ter uma potência total limitada para todas as portas USB juntas. Então se você conectar vários aparelhos ao mesmo tempo ou a tomada fornece só 30 - 40W no total, a energia tem que se distribuir entre todas as portas - aí fica lento mesmo.
A fiação dentro da tomada também faz diferença. Alguns modelos mais baratos têm fios mais finos, o que causa queda de tensão. Seu celular percebe que chega menos tensão e reduz automaticamente a velocidade de carregamento por questões de segurança. Dá uma olhada no manual para ver quantos watts as portas USB fornecem no total e se portas individuais têm um máximo. Se você está carregando só um aparelho e mesmo assim fica lento, sua tomada provavelmente é subdimensionada.
A solução segura: invista em uma tomada de melhor qualidade com pelo menos 45 - 65W de potência total e boas avaliações. Ou não abandone seu antigo carregador de 20W - os carregadores tradicionais costumam ser mais confiáveis quando se trata de velocidade de carregamento de verdade.