Видео недоступно для предпросмотра
Смотреть в Telegram
#наподумати
🧤 Необхідність нового воркфлоу для відео анімації 🪦
Сьогодні доступно дві моделі генерації:
- З тексту у відео. Мінус - ніякого контролю та передбачуваного результат. Формат підходить лише для генерації фонової картинки.
- З картинки у відео. Мінус - багато мутацій, все одно є не точна передача рухів персонажа, проблеми з контрастом, світлом, та послідовністю. Через що доводиться працювати з 1-2 секунди відео максимум, а далі обрізати мутовані сцени. Kling намагається це виправити напряму - допрацьовуючи всі ці недоліки. Сора шляхом копіювання інформації з картинки і її дубльованого відтворення, але різниця помітна. Мінімакс щось середнє. Вео від гугла поки не вийшла. Всі намагаються переводити відео у слоу мо. Коротше результат далекий від ідеалу.
Але, здається розробники та користувачі знаходять рішення. Коли ми тестували відео LoRA Kling, то помітили, що когерентність відтворення анімації відносно до промпту сильно зростає. Kling починає краще розуміти ракурси камери та саму сцену. І те саме помітили при роботі з Pika ingredients - коли ви завантажуєте фото героя, локації та предмета.
Виходить, що оптимальний воркфлоу поступово переходить із формату із формату img to video, у формат multiplay img to video. Тобто задача зводиться до того, щоб просто завантажувати більше картинок: правильний образ героя, правильний продукт чи обʼєкт, і правильний ракурс камери в певній локації. Тоді результат в рази кращий. Десь 80%, проти 60% як зараз.
Якщо ми праві, то думаємо, що десь через рік точність контролю відтворення сцен буде 95%. А через 2 роки і всі 100%. Коротше даємо АІ відео анімації 2 роки на те, щоб вийти по якості на рівень класичних продакшнів по рівню контролю кадра.
📱 TG | 📱 YT
🧤 Необхідність нового воркфлоу для відео анімації 🪦
Сьогодні доступно дві моделі генерації:
- З тексту у відео. Мінус - ніякого контролю та передбачуваного результат. Формат підходить лише для генерації фонової картинки.
- З картинки у відео. Мінус - багато мутацій, все одно є не точна передача рухів персонажа, проблеми з контрастом, світлом, та послідовністю. Через що доводиться працювати з 1-2 секунди відео максимум, а далі обрізати мутовані сцени. Kling намагається це виправити напряму - допрацьовуючи всі ці недоліки. Сора шляхом копіювання інформації з картинки і її дубльованого відтворення, але різниця помітна. Мінімакс щось середнє. Вео від гугла поки не вийшла. Всі намагаються переводити відео у слоу мо. Коротше результат далекий від ідеалу.
Але, здається розробники та користувачі знаходять рішення. Коли ми тестували відео LoRA Kling, то помітили, що когерентність відтворення анімації відносно до промпту сильно зростає. Kling починає краще розуміти ракурси камери та саму сцену. І те саме помітили при роботі з Pika ingredients - коли ви завантажуєте фото героя, локації та предмета.
Виходить, що оптимальний воркфлоу поступово переходить із формату із формату img to video, у формат multiplay img to video. Тобто задача зводиться до того, щоб просто завантажувати більше картинок: правильний образ героя, правильний продукт чи обʼєкт, і правильний ракурс камери в певній локації. Тоді результат в рази кращий. Десь 80%, проти 60% як зараз.
Якщо ми праві, то думаємо, що десь через рік точність контролю відтворення сцен буде 95%. А через 2 роки і всі 100%. Коротше даємо АІ відео анімації 2 роки на те, щоб вийти по якості на рівень класичних продакшнів по рівню контролю кадра.
📱 TG | 📱 YT