Tive um proprietário estranho também que queria ficar com uma grana com a desculpa de desgaste. É um clássico infelizmente. Então a lei é clara: o desgaste normal é responsabilidade do proprietário. Marcas pequenas nas paredes, riscos leves, descoloração do papel de parede depois de anos, tudo isso é problema dele, não seu. Ele só pode reter dinheiro se você causou danos reais (buraco na parede, azulejo quebrado, assoalho danificado, essas coisas). Marcas de prego ou traços leves não entram na categoria "danos".
O procedimento é que ele tem que devolver sua caução no máximo em dois meses depois que você sai, a menos que ele te passe um inventário detalhado com fotos e justificativas claras para cada retenção. Se ele ficar com grana sem te comprovar os danos com orçamentos, é abusado. Peça por escrito (email, carta registrada) para ele justificar exatamente o que está retendo e por quê. Se você tem fotos do apartamento quando saiu ou quando entrou, guarda como prova. Sinceramente, já que são só marcas de nada, ele não tem nenhum argumento legal. Insista bastante no fato de que o desgaste normal é responsabilidade dele, não sua.