Lo principal es que no te tortures con sentimientos de culpa. Es tu habitación, tu salud, y nadie te va a juzgar por preferir pedir té a la habitación o tomarlo en la cafetería del hotel. No hay un comportamiento "correcto" aquí.
Pero si de todas formas quieres usar la tetera, una revisión no viene mal - es justamente lo que recomendaban arriba. Yo, por ejemplo, cuando me voy a algún lugar por una temporada más larga, abro la tetera, miro adentro con buena luz, a veces la enjuago con agua caliente del grifo antes de usarla por primera vez. Una vez en un hotelito encontré ahí una cosa horrible - un depósito marrón, una capa de cal. Claro, nunca más la usé. Pero en otro hotel la tetera se veía limpia y decente, así que tranquilamente la usé para preparar té de hierbas.
Si el aspecto de la tetera te genera dudas - confía en ese instinto. No tienes que explicar ni justificar nada. Simplemente usa alternativas: pídele agua caliente a la recepción, ordena té a la habitación o ve a la cafetería. Al fin y al cabo, estás pagando por comodidad, y comodidad es aquello en lo que te sientes tranquila.