Posso passar no sinal vermelho se não vem nenhum carro?

Não, você não pode fazer isso. Vermelho significa vermelho, independentemente de haver carros passando ou não. O semáforo não regula apenas para que você não colida com outros veículos, mas também para que o trânsito funcione de verdade. Se todo mundo passar no vermelho assim que a rua ficar vazia, vira um caos e fica perigoso.

Além disso: você nunca pode ter certeza de que nada vem. Os veículos se aproximam mais rápido do que a gente pensa, e justamente em curvas ou vindo pela esquerda/direita você nem sempre vê tudo. Pedestres, ciclistas, motos - eles podem não te ver se você sair de repente.

E na prática: se você for pego, sai caro. Multa, possíveis pontos na carteira. Então é melhor esperar alguns segundos até o semáforo ficar verde - esses poucos segundos não valem a pena.

O semáforo está ali para coordenar todo o trânsito - não é só para você não ser atingido por um carro vindo da esquerda. Mesmo que você não veja nenhum carro no momento, pedestres ou ciclistas podem estar contando com a luz verde e ter saído, que você então perderia de vista. Eu quase bati em um ciclista em um cruzamento porque ele veio com a luz verde e eu achei que a rua estava livre - desde então respeito qualquer semáforo, não importa como pareça vazio.