Se teu interlocutor diz que o carro é vermelho - você realmente precisa saber se a experiência interna da vermelhidão dele é idêntica à sua? Os outros têm razão de que você não pode verificar isso objetivamente. Esse é o problema das qualia, e é algo real. Mas aqui vem o ponto crucial que as respostas anteriores de alguma forma negligenciaram: o problema é completamente irrelevante para a comunicação prática.
Duas pessoas podem ter experiências internas de cor totalmente diferentes e ainda assim viver perfeitamente juntas, porque mostram as mesmas *reações*. Você identifica os sinais de trânsito corretamente, eu também - se minha experiência subjetiva do vermelho corresponde à sua ou não, não faz absolutamente nenhuma diferença. A filosofia chama isso de "funcionalismo": enquanto a função está correta, o significado e o comportamento, a qualidade interna é filosoficamente irrelevante. Não é insatisfatório, é simplesmente pragmático.
O problema real fica em outro lugar. Não se trata de cores - trata-se de saber se sua própria experiência consciente realmente existe ou é apenas uma ilusão que seu cérebro cria. Mas isso é outra coisa. Quanto à pergunta original: não, você não sabe com certeza. Sim, poderia ser. Não, na vida real você não se importa.