Você tá certo em ter receio, especialmente porque já passou por isso. Empréstimo bancário pra cripto é realmente arriscado demais - não é que os juros sejam necessariamente 40-50% (variam bastante dependendo do seu perfil no banco), mas mesmo com 25% ao ano, se o Bitcoin cair 30% você já tá no prejuízo e ainda tem que devolver aquilo tudo.
O problema real é que você estaria pegando dinheiro emprestado pra fazer uma aposta, e aposta com dinheiro que não é seu é jogo, não é investimento.
Se tem vontade de entrar em cripto de novo, investe só o que você conseguiria perder sem dormir mal - e aí sim, sem intermediário de banco cobrando juros em cima.