Ржавая вода - это в первую очередь механическая грязь, и здесь фильтры действительно работают. Но есть нюанс: если труба уже ржавеет в подвале, то проблема будет возвращаться постоянно, потому что источник не устранён. Тем не менее фильтр на кран или под раковину - это имеет смысл.
Для вашей ситуации подойдёт комбинированный подход. Сначала поставьте механический фильтр грубой очистки (сетка или картридж из полипропилена) - он отлавливает саму ржавчину. Потом добавьте угольный картридж, чтобы убрать запах. Многие берут готовые двухступенчатые системы под мойку - они недорогие и легко меняются.
Единственное - придётся менять картриджи часто. При такой загрязнённой воде механический фильтр забьётся за месяц-два, может быть и быстрее. Так что считайте расходы на замены. И проверьте, может, соседи уже договаривались с управляющей компанией по поводу труб - иногда их всё же чистят или меняют.