¿Las redes neuronales ya aprendieron a hacer anime o todavía se ve raro?

Las redes neuronales ya generan anime, pero la calidad depende mucho del modelo y la configuración. Hay momentos que se ven bastante bien: los personajes son reconocibles, las emociones se transmiten en las caras, la paleta de colores es vibrante. Pero si te fijas bien, frecuentemente ves proporciones extrañas en las extremidades, curvas antinaturales en el torso, y a veces las manos salen completamente torcidas. El cabello y los tejidos aún suelen verse como papilla embadurnada en lugar de mechones separados.

El problema principal es que las redes neuronales se entrenan con fotogramas ya hechos, pero el anime no es solo una imagen bonita, también es una secuencia de fotogramas con animación correcta. Aunque un fotograma estático se vea bien, en movimiento empiezan los problemas: los personajes se sacuden, pierden consistencia, los rasgos faciales cambian de un fotograma a otro. El anime real requiere un montón de retoques manuales de detalles.

Para un boceto rápido o concept art, las redes neuronales ya ayudan bastante bien. Pero anime completo que puedas ver episodio tras episodio sin irritarte, el generador aún no puede hacer sin una postproducción seria. Lo más probable es que en el futuro sean una herramienta para los animadores, no un reemplazo total: por la calidad habrá que pagar de todas formas, ya sea con tiempo o con dinero.

Cuando intenté generar escenas de anime en diferentes redes neuronales, noté un problema: las manos de los personajes a menudo se ven raras, los dedos no se cuentan correctamente. Esto afecta casi todos los modelos, incluso cuando la cara y la ropa salen bastante bien. En pocas palabras, las redes neuronales se manejan bien con la composición general y los detalles de la cara, pero todavía tropiezan con la anatomía en movimiento.

Vi hace poco algunos ejemplos que compartieron en internet - en algunos casos realmente quedan bastante decentes. Las caras, el pelo, la composición general pueden ser bastante aceptables. Pero cuanto más tiempo miras, más errores notas. Además de las manos, que ya mencionaron, la anatomía falla constantemente - las proporciones del torso, las piernas se ven raras. Y si hay varios personajes en la escena, pueden meterse uno dentro del otro o estar de pie de forma incómoda.

Intenté generar una escena simple - una niña con un gato en una habitación. El gato salió algo abstracto, la cabeza no coincide con el cuerpo, y la niña quedó de forma extraña, como si estuviera doblada incorrectamente. O sea, la red neuronal entiende que debe haber personajes, transmite la emoción, pero los detalles no encajan. Para retratos estáticos puede estar bien, pero para un episodio de anime completo con movimiento e interacción entre personajes sigue siendo muy lejano del producto final.

Creo que el asunto es que el anime es un arte con sus propias reglas y estilística, no simplemente una reproducción fotográfica de la realidad. Las redes neuronales aún no han captado realmente este lenguaje específico.

El problema no es solo las manos, sino que las redes neuronales entienden mal el movimiento y la dinámica. Una escena estática bonita la pueden hacer sin problemas, pero cuando necesitas una secuencia de fotogramas se desincroniza todo, los personajes se teletransportan entre frames o cambian de poses de una forma poco natural. Para un anime de verdad esto es crítico, porque todo el punto está en la fluidez y la expresividad de los movimientos, no solo en caras bonitas.