Redes neurais já conseguem fazer anime ou ainda fica estranho?

As redes neurais já geram anime, mas a qualidade depende muito do modelo e das configurações. Tem momentos que ficam bem decentes - os personagens são reconhecíveis, as emoções no rosto são transmitidas, a paleta de cores é vibrante. Mas se você prestar atenção, geralmente você fica pegando proporções estranhas nos membros, torções não naturais no tronco, e às vezes as mãos simplesmente saem erradas. Cabelos e tecidos ainda costumam parecer uma papinha borrada em vez de mechas separadas.

O principal problema é que as redes neurais aprendem com frames prontos, mas anime não é só uma imagem bonita, é também uma sequência de frames com a animação correta. Mesmo que um frame estático fico bem, no movimento começam as dificuldades: os personagens tremem, perdem consistência, os traços do rosto mudam de frame para frame. Anime de verdade exige um monte de ajuste manual nos detalhes.

Para um esboço rápido ou arte conceitual as redes neurais já ajudam bastante. Mas um anime completo que dá pra assistir série após série sem ficar irritado, o gerador ainda não consegue fazer sem uma pós-produção pesada. Provavelmente no futuro elas vão ser uma ajuda para os animadores, não uma substituição completa - a qualidade sempre vai custar algo, seja tempo ou dinheiro.

Quando tentei gerar cenas de anime em diferentes redes neurais, notei um problema - as mãos dos personagens frequentemente ficam estranhas, os dedos não são contados corretamente. Isso acontece com quase todos os modelos, mesmo quando o rosto e a roupa ficam bem decentes. Em resumo, as redes neurais conseguem lidar com a composição geral e detalhes do rosto, mas ainda têm dificuldades com a anatomia em movimento.

Vi recentemente uns exemplos que alguns caras postaram na internet - em alguns casos sai bem decente mesmo. Rostos, cabelos, a composição geral podem ser bastante aceitáveis. Mas quanto mais você fica olhando, mais glitches você nota. Além das mãos, que já mencionaram, muitas vezes a anatomia fica ruim - proporções do tronco, pernas que parecem estranhas. E se tem vários personagens na cena, eles podem um entrar dentro do outro ou ficar em pé de um jeito estranho.

Tentei gerar uma cena simples - uma menina com um gato num quarto. O gato saiu meio abstrato, a cabeça não bate com o corpo, e a menina ficou com forma estranha, como se tivesse dobrada errado. Tipo, a rede neural entende que deve ter personagens ali, passa emoção, mas os detalhes não se encaixam. Pra retratos estáticos pode ser legal, mas pra um episódio de anime de verdade com movimento e os personagens interagindo, ainda tá muito longe de ser um produto pronto.

Acho que é porque anime é uma arte com suas próprias regras e estilo, não é só reproduzir a realidade de forma fotográfica. As redes neurais ainda não conseguiram de verdade esse linguagem específico.

O problema não é só nas mãos, mas também que as redes neurais entendem mal movimento e dinâmica. Uma cena estática bonita elas conseguem fazer, mas quando precisa de uma sequência de frames - fica dessincronizado, os personagens entre os quadros parecem se teletransportar ou mudam de pose de forma não natural. Para um anime de verdade isso é crítico, porque o negócio todo é a suavidade e expressividade dos movimentos, e não só rostos bonitos.