YuE: Open-Source-Kernmodellfamilie für die End-to-End-Songgenerierung

YuE ist ein Open-Source-Modell zur Generierung von Songs, das Texte in Gesang und Instrumente in mehreren Sprachen umwandelt und Musiker mit seiner fortschrittlichen Architektur unterstützt.

Die Musikindustrie steht vor Herausforderungen wie kreativen Engpässen und umständlichen Produktionsprozessen. YuE, ein Open-Source-Grundlagenmodell, geht diese Probleme an, indem es Texte in komplette Lieder verwandelt. Der Begriff „YuE“, der auf Chinesisch „Musik“ und „Glück“ bedeutet, steht für seinen doppelten Zweck: die Kreativität von Liedern zu fördern und lyrische Änderungen zu ermöglichen. YuE generiert vollständige Lieder mit sowohl Gesang als auch instrumentaler Begleitung und wahrt die musikalische Kohärenz. Seine mehrsprachigen Fähigkeiten, einschließlich Unterstützung für Englisch, Mandarin, Kantonesisch, Japanisch und Koreanisch, demokratisieren die Musikproduktion und ermöglichen Künstlern aus verschiedenen Sprachhintergründen, sich auszudrücken.

Die technische Architektur von YuE zeigt sein Potenzial. Es verwendet einen semantischen Audio-Tokenisierer, der die Rechenkosten minimiert und die Konvergenz des Trainings beschleunigt. Darüber hinaus ermöglicht eine Dual-Token-Technik ein synchronisiertes Modellieren von Gesang und Instrumenten innerhalb einer einzigen Decoder-Architektur. Der Ansatz der Lyrics-Chain-of-Thought des Modells komponiert schrittweise ganze Lieder, die den lyrischen Bedingungen folgen und kohärente und bedeutungsvolle musikalische Ergebnisse sicherstellen. Ein dreiphasiger Trainingsprozess verbessert die Skalierbarkeit, Musikalität und Steuerung der Texte, wodurch YuE ein anpassbares Werkzeug für Musiker und Produzenten wird. Seine Fähigkeit, kohärente Audio-Tracks von bis zu fünf Minuten Länge zu generieren, erleichtert die Schaffung komplexer musikalischer Kompositionen, die Kreativität und lyrische Innovation fördern.

Die Funktionalitäten von YuE markieren einen signifikanten Wandel in der konventionellen Musikproduktion, die häufig Kreativität und künstlerischen Ausdruck einschränkt. Die Generierung vollständiger Lieder, die Anpassungsfähigkeit über Genregrenzen hinweg und die Unterstützung mehrerer Sprachen fördern eine neue Landschaft musikalischer Zusammenarbeit und Innovation. Künstler können sich mehr auf den kreativen Aspekt konzentrieren, anstatt durch technische Details behindert zu werden. Der Trainingsprozess, der GPT-generierte Texte nutzt, verbessert die Qualität und Ausrichtung des Outputs und gewährleistet ein poliertes Endprodukt. YuE befähigt Künstler, neue Klanglandschaften, Stile und Themen zu erkunden, was zu Musik führt, die sowohl auf persönlicher als auch auf universeller Ebene anspricht. Die Verwendung von Dual-Token-Synchronisation ermöglicht es dem Modell, effektiv kohärente Lieder zu generieren, indem es Gesang und Instrumente harmonisch ausrichtet.

Als Open-Source-Modell fördert YuE Freiheit und Zugänglichkeit in der Musikproduktion. Die Verfügbarkeit seines Codes auf Plattformen wie Hugging Face und GitHub, kombiniert mit seiner Creative Commons Attribution-Nichtkommerziell 4.0 Lizenzvereinbarung, positioniert YuE als gemeinschaftlich betriebenes Ressource, das auf Prinzipien der Zusammenarbeit und gegenseitiger Unterstützung basiert. Die Einführung von YuE kündigt eine transformative Phase für die Musikindustrie an, in der Kreativität, Diversität und Freiheit priorisiert werden, während sie den Weg für ihre Evolution und zukünftige Entwicklung ebnet.