📌MiniMax відкрила Music 3 — модель для генерації повноцінних пісень
MiniMax опублікувала код і ваги Music 3. Модель генерує композиції тривалістю до п'яти хвилин із вокалом, інструментами та розвитком аранжування, причому структуру пісні можна задавати досить детально.
🔆Детальніше
• На вході можна задати текст пісні та опис звучання.
• Модель розуміє структуру композиції: вступ, куплет, приспів, брідж, інструментальну частину та фінал.
• Окремо можна описати жанр, BPM, тональність, вокал, інструменти та розвиток музики протягом треку.
• В основі лежить Global LLM на 8B параметрів для довгострокової структури та Local LLM на 0,6B для деталізації звуку.
• Додатково використовується система синтезу на основі Flow Matching та Flow-VAE.
• На виході модель створює стерео WAV у 32 кГц та 16 біт.
• Модель можна запускати локально. У повному режимі вона вкладається менш ніж у 24 ГБ VRAM.
• За допомогою автоматичного вивантаження частини обчислень у RAM модель можна запустити навіть на відеокарті з 8 ГБ VRAM, але повільніше.
• Для запуску вже є підтримка SGLang, Diffusers та ComfyUI.
➡️Код тут.
➡️Ваги тут.
➡️Запроси друга до НейроЄнота🦝
MiniMax опублікувала код і ваги Music 3. Модель генерує композиції тривалістю до п'яти хвилин із вокалом, інструментами та розвитком аранжування, причому структуру пісні можна задавати досить детально.
🔆Детальніше
• На вході можна задати текст пісні та опис звучання.
• Модель розуміє структуру композиції: вступ, куплет, приспів, брідж, інструментальну частину та фінал.
• Окремо можна описати жанр, BPM, тональність, вокал, інструменти та розвиток музики протягом треку.
• В основі лежить Global LLM на 8B параметрів для довгострокової структури та Local LLM на 0,6B для деталізації звуку.
• Додатково використовується система синтезу на основі Flow Matching та Flow-VAE.
• На виході модель створює стерео WAV у 32 кГц та 16 біт.
• Модель можна запускати локально. У повному режимі вона вкладається менш ніж у 24 ГБ VRAM.
• За допомогою автоматичного вивантаження частини обчислень у RAM модель можна запустити навіть на відеокарті з 8 ГБ VRAM, але повільніше.
• Для запуску вже є підтримка SGLang, Diffusers та ComfyUI.
➡️Код тут.
➡️Ваги тут.
➡️Запроси друга до НейроЄнота🦝