Si tu interlocutor dice que el auto es rojo, ¿realmente necesitas saber si su experiencia interna del rojo es idéntica a la tuya? Los otros tienen razón en que objetivamente no puedes verificarlo. Ese es el problema de las cualias, y es algo real. Pero aquí viene el punto clave que las respuestas anteriores de alguna manera pasaron por alto: el problema es completamente irrelevante para la comunicación práctica.
Dos personas pueden tener experiencias internas del color completamente diferentes y aun así convivir perfectamente, porque muestran las mismas *reacciones*. Tú clasificas los semáforos correctamente, yo también - sin importar si mi experiencia subjetiva del rojo coincide con la tuya o no, eso no importa nada. La filosofía lo llama "funcionalismo": mientras la función sea correcta, el significado y el comportamiento, la cualidad interna es filosóficamente irrelevante. Eso no es insatisfactorio, es simplemente pragmático.
El verdadero problema está en otro lado. No se trata de colores - se trata de la pregunta de si tu propia experiencia consciente existe realmente o es solo una ilusión que crea tu cerebro. Pero eso es otra cosa. En cuanto a la pregunta original: no, no lo sabes con seguridad. Sí, podría ser. No, en la vida real no te importa.