Вопрос в том, что портить отношения здесь будет не твой отказ, а его просьбы. Ты уже несколько раз сказал "да" - и ничего не изменилось. Это значит, что попытка быть вежливым и щадящим уже не работает. Он привык, что ты дашь деньги, и будет просить дальше, потому что для него это работает.
У меня была похожая ситуация - одна знакомая занимала у меня прямо в рабочем столовке между обедами. Я давал, она не возвращала, потом просила снова. Я долго стеснялся прямо сказать "нет", боялся испортить отношения. В итоге когда я наконец отказал, оказалось, что она даже не обиделась - просто перешла к следующему человеку. Потом я понял, что она вообще не ожидала, что деньги вернёшь, просто проверяла, кто даст.
На следующую просьбу просто скажи: "К сожалению, прошлые суммы я так и не вернул себе, поэтому больше дать не смогу". Не нужно извиняться, не нужно объяснять, как ты распределяешь свой бюджет. Это прямо, спокойно и справедливо. Если человек действительно адекватный, он поймет. Если обидится - значит, отношения были построены на том, что он мог на тебя рассчитывать, и это не твоя вина.