Нейросети научились делать аниме или это ещё выглядит не то?

Нейросети уже генерируют аниме, но качество сильно зависит от модели и настроек. Есть моменты, которые выглядят довольно прилично - персонажи узнаваемы, эмоции на лицах передаются, цветовая палитра яркая. Но если присмотреться, то часто ловишься на странных пропорциях конечностей, неестественных изгибах туловища, а иногда руки вообще получаются криво. Волосы и ткани ещё часто выглядят как размазанная кашица вместо отдельных прядей.

Основная проблема в том, что нейросети учатся на готовых кадрах, но аниме - это не просто красивая картинка, это ещё и последовательность кадров с правильной анимацией. Даже если один статичный кадр смотрится, то в движении начинаются трудности: персонажи дёргаются, теряют консистентность, черты лица меняются от кадра к кадру. Настоящее аниме требует кучи ручной доделки деталей.

Для быстрого наброска или концепт-арта нейросети уже неплохо помогают. Но полноценное аниме, которое можно смотреть серию за серией без раздражения, генератор пока не сделает без серьёзной постпродакшена. Скорее всего, в будущем они будут помощником аниматорам, а не полной заменой - за качество всё равно придётся платить либо временем, либо деньгами.

Когда я пробовал генерировать аниме-сцены в разных нейросетях, заметил одну беду - руки персонажей часто выглядят странно, пальцы не считаются правильно. Это касается почти всех моделей, даже если лицо и одежда получаются довольно сносно. Проще говоря, нейросети справляются с общей композицией и деталями лица, а вот с анатомией в движении ещё стопотыкаются.

Видел я недавно примеры, которые выложили ребята в сети - в некоторых случаях действительно получается прилично. Лица, волосы, общая композиция могут быть вполне сносными. Но чем дольше смотришь, тем больше замечаешь глюки. Помимо рук, которые уже упомянули, часто хромает анатомия - пропорции туловища, ноги какие-то странные. И если в сцене несколько персонажей, они могут друг в друга залезать или стоять как-то неловко.

Попробовал я как-то сгенерировать несложную сценку - девочку с котом в комнате. Кот вышел какой-то абстрактный, голова не совпадает с телом, а девочка получилась странной формы, будто согнута неправильно. То есть нейросеть понимает, что там должны быть персонажи, передает эмоцию, но детали не склеиваются. Для статичных портретов может быть неплохо, а вот для полноценного аниме-эпизода с движением и взаимодействием персонажей это всё ещё очень далеко от готового продукта.

Думаю, дело в том, что аниме - это искусство со своими правилами и стилистикой, а не просто фотографическое воспроизведение реальности. Нейросетям этот специфический язык ещё по-настоящему не дался.

Проблема не только в руках, но и в том, что нейросети плохо понимают движение и динамику. Статичную красивую сцену они могут натворить, а вот когда нужна последовательность кадров - получается рассинхрон, персонажи между фреймами как будто телепортируются или меняют позы неестественно. Для полноценного аниме это критично, потому что весь прикол в плавности и выразительности движений, а не только в красивых лицах.