La cuestión es que lo que va a dañar la relación aquí no será tu negativa, sino sus peticiones. Ya le has dicho "sí" varias veces y nada ha cambiado. Eso significa que intentar ser amable y considerado ya no funciona. Se ha acostumbrado a que le des dinero y seguirá pidiendo, porque para él funciona.
Yo pasé por una situación parecida: una conocida me pedía prestado directamente en la cafetería de la oficina entre comidas. Yo le daba, ella no devolvía, luego volvía a pedir. Durante mucho tiempo me avergonzaba decirle que no directamente, tenía miedo de arruinar la relación. Al final, cuando por fin me negué, resultó que ni siquiera se ofendió: simplemente pasó al siguiente. Después entendí que ella ni siquiera esperaba que le devolviera el dinero, solo estaba probando quién daría.
En la próxima petición simplemente di: "Desgraciadamente, las sumas anteriores aún no me las he recuperado, así que no puedo dar más". No necesitas disculparte, no necesitas explicar cómo distribuyes tu presupuesto. Es directo, tranquilo y justo. Si la persona es realmente sensata, lo entenderá. Si se ofende, significa que la relación estaba basada en que podía contar contigo, y eso no es culpa tuya.