Les IA peuvent-elles vraiment générer de l'anime ou c'est encore pas glop ?

Les IA génèrent déjà de l'anime, mais la qualité dépend beaucoup du modèle et des paramètres utilisés. Il y a des moments qui sont plutôt corrects - les personnages sont reconnaissables, les émotions se lisent sur leurs visages, la palette de couleurs est vive. Mais si on regarde de près, on remarque souvent des proportions bizarres aux membres, des courbures contre nature du torse, et parfois les mains sont carrément mal faites. Les cheveux et les tissus ont encore souvent l'air d'une bouillie étalée au lieu de mèches distinctes.

Le problème principal, c'est que les IA s'entraînent sur des images statiques, mais l'anime ce n'est pas juste une belle image, c'est aussi une séquence de frames avec une animation cohérente. Même si une image fixe rend bien, ça devient galère en mouvement : les personnages saccadent, perdent la cohérence, les traits changent d'une frame à l'autre. Le vrai anime demande énormément de retouches manuelles des détails.

Pour des croquis rapides ou des concept-arts, les IA aident déjà pas mal. Mais un anime complet qu'on pourrait regarder épisode après épisode sans s'énerver, le générateur ne peut pas le faire pour le moment sans une post-production sérieuse. Franchement, à l'avenir ce seront probablement des assistants pour les animateurs, pas un remplacement complet - la qualité, il faudra toujours la payer d'une façon ou d'une autre, soit avec du temps, soit avec de l'argent.

Quand j'ai essayé de générer des scènes d'anime dans différents réseaux de neurones, j'ai remarqué un problème - les mains des personnages ont souvent l'air bizarres, les doigts ne sont pas comptabilisés correctement. C'est le cas pour presque tous les modèles, même si le visage et les vêtements s'avèrent plutôt corrects. En gros, les réseaux de neurones se débrouillent bien avec la composition générale et les détails du visage, mais ils pataugent encore avec l'anatomie en mouvement.

J'ai vu récemment des exemples que des gars ont partagés en ligne - dans certains cas, ça donne vraiment quelque chose de correct. Les visages, les cheveux, la composition générale peuvent être tout à fait acceptables. Mais plus tu regardes longtemps, plus tu repères des bugs. Au-delà des mains, qu'on a déjà mentionnées, l'anatomie cloche souvent - les proportions du corps, les jambes ont quelque chose de bizarre. Et si la scène compte plusieurs personnages, ils peuvent se chevaucher ou se tenir de manière maladroite.

J'ai essayé une fois de générer une petite scène simple - une fille avec un chat dans une chambre. Le chat est ressorti vraiment abstrait, la tête ne correspond pas au corps, et la fille a une forme étrange, comme si elle était pliée de travers. C'est-à-dire que le réseau de neurones comprend qu'il doit y avoir des personnages là, il transmet l'émotion, mais les détails ne collent pas ensemble. Pour des portraits statiques, c'est peut-être pas mal, mais pour un vrai épisode d'anime avec du mouvement et de l'interaction entre les personnages, c'est encore très loin d'un produit fini.

Je pense que c'est parce que l'anime, c'est un art avec ses propres règles et sa propre stylistique, et pas juste une reproduction photographique de la réalité. Les réseaux de neurones n'ont pas vraiment encore maîtrisé ce langage spécifique.

Le problème n'est pas seulement celui des mains, mais aussi que les réseaux de neurones ne comprennent pas bien le mouvement et la dynamique. Ils peuvent créer une belle scène statique, mais quand il s'agit d'une séquence d'images, c'est désynchronisé, les personnages semblent se téléporter entre les frames ou changer de posture de manière peu naturelle. Pour un anime digne de ce nom, c'est critique, parce que tout le truc c'est la fluidité et l'expressivité des mouvements, pas juste les jolis visages.