A questão é que o que vai prejudicar o relacionamento aqui não é a tua recusa, mas os pedidos dele. Você já disse "sim" várias vezes - e nada mudou. Isso significa que tentar ser educado e condescendente já não funciona. Ele acostumou que você vai dar o dinheiro e vai pedir de novo, porque para ele isso funciona.
Tive uma situação parecida - uma conhecida pegava dinheiro emprestado comigo direto na cafeteria do trabalho entre os almoços. Eu dava, ela não devolvia, depois pedia de novo. Demorei muito para ter coragem de dizer "não" direto, tinha medo de estragar o relacionamento. No final, quando finalmente recusei, descobri que ela nem se ofendeu - simplesmente foi para a próxima pessoa. Depois entendi que ela nem esperava que você devolvesse o dinheiro, só estava testando quem daria.
Na próxima vez que pedir, só diz: "Desculpa, mas as quantias anteriores eu não consegui recuperar, então não consigo emprestar mais". Não precisa se desculpar, não precisa explicar como você distribui seu orçamento. É direto, tranquilo e justo. Se a pessoa for realmente sensata, vai entender. Se se ofender - significa que o relacionamento era baseado no fato de que ele poderia contar com você, e isso não é culpa sua.