O principal é não se atormentar com culpa. É o seu quarto, é a sua saúde, e ninguém vai te julgar por preferir pedir chá no quarto ou tomá-lo no café do hotel. Não existe nenhum comportamento "certo" aqui.
Mas se você mesmo assim quiser usar a chaleira, uma verificação não faz mal - exatamente o que sugeriram acima. Eu, por exemplo, quando fico em algum lugar por mais tempo, abro a chaleira, olho bem lá dentro com uma boa iluminação, às vezes enxáguo com água quente da torneira antes do primeiro uso. Uma vez num hotel pequeno encontrei lá uma coisa de arrepiar - um depósito marrom, uma camada de calcário. Obviamente, não usei mais. Mas em outro hotel a chaleira parecia limpa e decente, e eu tranquilamente fazia chá de ervas com ela.
Se a aparência da chaleira desperta dúvidas em você - confie nesse sentimento. Você não é obrigada a explicar ou se justificar. Simplesmente use alternativas: peça água quente na recepção, peça chá no quarto ou vá ao café. No fim das contas, você está pagando por conforto, e conforto é aquilo com o qual você se sente tranquila.