O mais simples é usar um filtro tipo torneira que se rosqueia diretamente na saída do seu grifo atual, sem mexer nas tubulações. Esses filtros quase nunca precisam de ferramentas nem conhecimentos especiais. É só desligar a água, desenroscar o arejador (aquela peça pequena que sai na ponta do grifo), limpar um pouco para não ficar sujeira, e depois rosquear o filtro no lugar dele. Leva no máximo cinco minutos e não tem risco de danificar tubulações velhas porque você não mexe em nada embaixo da pia.
Se preferir um filtro para colocar embaixo da pia, aí sim tem um pouco mais de complexidade. Você precisaria cortar uma parte pequena da tubulação de entrada, instalar dois conectores (que se prendem com porcas de plástico fáceis de apertar com a mão, sem força) e depois o cartucho do filtro. Isso também não é perigoso se as tubulações forem de plástico ou cobre moderno, mas é verdade que se forem muito velhas ou estiverem corroídas, mexer aí pode soltar ferrugem ou quebrar algo. Nesse caso, aí sim eu diria para você chamar alguém.
Pela cor amarelada que você mencionou, antes de instalar qualquer coisa confira se o problema vem da sua casa ou da rede municipal. Se acontece só na cozinha e não em outros grifos, provavelmente é sedimento nas tubulações velhas, e um filtro vai ajudar. Mas se acontece em toda a casa, pode ser algo mais sério. De qualquer forma, com um filtro de torneira você não perde nada tentando.