Antes de mais nada, mede a distância desde onde você se senta até onde a TV vai ficar, porque isso é o que determina tudo. Se estás a mais de dois metros, 40" continua sendo a tua opção; se menos, então sim considera diminuir. O que ninguém te disse é que em quartos pequenos o reflexo de luz é um problema enorme, então se escolheres OLED garante que o quarto consiga escurecer bem, porque senão os painéis OLED não brilham o suficiente e perdem todo o seu ponto.
Para o tamanho específico, honestamente 40" é bastante manejável em um quarto reduzido. Os 32" são mais para distâncias muito apertadas ou se queres um móvel que quase não ocupe espaço. O que sim mudaria é a tecnologia: se tens orçamento, OLED é brutal para contraste e cores, mas Mini LED também funciona bem e costuma ser mais barato. Isso sim, presta atenção na taxa de atualização em hertz (os modelos mais novos costumam oferecer 120Hz) e que tenha boas características para gaming se depois queres conectar um console.
Uma coisa: não te deixes influenciar só por especificações em uma loja online. Se consegues, vai ver modelos pessoalmente, porque a experiência real de ver como se vê em uma tela menor é diferente de ler números. E verifica que o suporte não seja uma porcaria, que isso também importa em quartos pequenos onde cada centímetro conta.