Lo más sencillo es usar un filtro tipo grifo que se enrosca directamente en la boca de salida de tu grifo actual, sin tocar las tuberías. Estos filtros casi nunca requieren herramientas ni conocimientos especiales. Solo necesitas cerrar el paso de agua, desenroscar el aireador (esa pieza pequeña que sale de la punta del grifo), limpiarla un poco para que no haya suciedad, y luego enroscar el filtro en su lugar. Toma como máximo cinco minutos y no hay riesgo de dañar tuberías viejas porque no tocas nada por debajo de la encimera.
Si prefieres un filtro que se coloque bajo el fregadero, ahí sí hay un poco más de complejidad. Necesitarías cortar una parte pequeña de la tubería de entrada, instalar dos conectores (que se sujetan con tuercas de plástico fáciles de apretar a mano, sin fuerzas) y luego el cartucho del filtro. Esto tampoco es peligroso si las tuberías son de plástico o cobre moderno, aunque sí es verdad que si son muy antiguas o están corroídas, meter mano ahí puede soltar óxido o romper algo. En ese caso, sí te diría que llamaras a alguien.
Por el color amarillento que mencionas, antes de instalar nada chequea si el problema viene de tu casa o de la red municipal. Si solo pasa en la cocina y no en otros grifos, probablemente es sedimento en las tuberías viejas, y un filtro te ayudará. Pero si pasa en toda la casa, podría ser algo más grave. De todas formas, con un filtro de grifo no pierdes nada intentando.