Le reti neurali sanno già fare anime o ancora non viene bene?

Le reti neurali generano già anime, ma la qualità dipende molto dal modello e dalle impostazioni. Ci sono momenti che sembrano abbastanza decenti - i personaggi sono riconoscibili, le emozioni sui visi vengono trasmesse, la tavolozza cromatica è vivace. Ma se guardi bene, spesso noti proporzioni strane degli arti, pieghe innaturali del torso, e a volte le mani vengono fuori storte. I capelli e i tessuti ancora spesso sembrano un impasto appiccicaticcio invece di ciocche separate.

Il problema principale è che le reti neurali si allenano su fotogrammi già pronti, ma l'anime non è solo una bella immagine, è anche una sequenza di fotogrammi con animazione corretta. Anche se un singolo fotogramma statico sembra bello, nei movimenti iniziano i problemi: i personaggi si muovono a scatti, perdono coerenza, i tratti del viso cambiano da un fotogramma all'altro. L'anime vero richiede un sacco di ritocco manuale dei dettagli.

Per una bozza veloce o un concept art le reti neurali già aiutano piuttosto bene. Ma un anime completo, che puoi guardare episodio dopo episodio senza irritarti, il generatore ancora non lo fa senza una seria post-produzione. Probabilmente in futuro saranno un aiuto agli animatori, non una sostituzione completa - la qualità comunque avrà un costo, che sia in termini di tempo o di denaro.

Quando ho provato a generare scene anime in diversi modelli di IA, ho notato un problema ricorrente: le mani dei personaggi spesso sembrano strane, le dita non vengono conteggiate correttamente. Questo riguarda quasi tutti i modelli, anche quando il viso e i vestiti vengono fuori abbastanza decenti. Insomma, le reti neurali se la cavano bene con la composizione generale e i dettagli del viso, ma ancora faticano un po' con l'anatomia in movimento.

Ho visto di recente degli esempi che i ragazzi hanno postato online - in alcuni casi viene davvero decente. I volti, i capelli, la composizione generale possono essere abbastanza accettabili. Ma più guardi, più noti i glitch. Oltre alle mani, che già hanno menzionato, spesso l'anatomia non regge - le proporzioni del torso, le gambe strane. E se nella scena ci sono più personaggi, possono sovrapporsi l'uno sull'altro o stare in modo un po' goffo.

Ho provato una volta a generare una scena semplice - una bambina con un gatto in una stanza. Il gatto è venuto fuori astratto, la testa non corrisponde al corpo, e la bambina aveva una forma strana, come se fosse piegata male. Cioè, la rete neurale capisce che ci devono essere personaggi, trasmette l'emozione, ma i dettagli non si incollano insieme. Per i ritratti statici potrebbe anche essere non male, ma per un episodio di anime vero e proprio con movimento e interazione tra personaggi, siamo ancora molto lontani da un prodotto finito.

Penso che il punto sia che l'anime è un'arte con le sue regole e la sua stilistica, non semplicemente una riproduzione fotografica della realtà. Le reti neurali ancora non hanno davvero afferrato questo linguaggio specifico.

Il problema non è solo le mani, ma anche il fatto che le reti neurali non capiscono bene il movimento e la dinamica. Una scena statica e bella riescono a farla, ma quando serve una sequenza di fotogrammi - viene fuori un disincronismo, i personaggi tra un frame e l'altro sembrano teletrasportarsi o cambiano pose in modo innaturale. Per un anime vero questo è critico, perché il bello sta nella fluidità e nell'espressività dei movimenti, non solo nei volti belli.