✨MAGI-2 Preview — відкрита MoE-модель для генерації відео зі звуком
Sand.ai опублікувала MAGI-2 Preview разом із кодом та weights. Модель генерує до 10 секунд відео із синхронною аудіодоріжкою, а фінальний результат можна отримати в роздільності до 1080p.
🔘Детальніше
• Усередині використовується MoE-архітектура на 114B параметрів.
• На кожному токені активується близько 6B параметрів, що значно зменшує обсяг обчислень.
• Пайплайн спочатку генерує відео в низькій роздільності, а потім окремий refiner підвищує якість.
• Відео та аудіо створюються синхронно в одному процесі.
• Код та weights доступні відкрито, тому модель можна досліджувати й запускати самостійно.
• Для локального запуску потрібне потужне обладнання — MAGI-2 поки не орієнтована на відеокарти з 24 ГБ пам'яті.
➡️ Код тут.
➡️ Ваги моделі тут.
➡️ Технічний звіт тут.
➡️Запроси друга до Neirom🇺🇦
Sand.ai опублікувала MAGI-2 Preview разом із кодом та weights. Модель генерує до 10 секунд відео із синхронною аудіодоріжкою, а фінальний результат можна отримати в роздільності до 1080p.
🔘Детальніше
• Усередині використовується MoE-архітектура на 114B параметрів.
• На кожному токені активується близько 6B параметрів, що значно зменшує обсяг обчислень.
• Пайплайн спочатку генерує відео в низькій роздільності, а потім окремий refiner підвищує якість.
• Відео та аудіо створюються синхронно в одному процесі.
• Код та weights доступні відкрито, тому модель можна досліджувати й запускати самостійно.
• Для локального запуску потрібне потужне обладнання — MAGI-2 поки не орієнтована на відеокарти з 24 ГБ пам'яті.
➡️ Код тут.
➡️ Ваги моделі тут.
➡️ Технічний звіт тут.
➡️Запроси друга до Neirom🇺🇦