Magenta RealTime 2: Model i ri i muzikës në kohë reale me vonë të ulët

Ekipi i Magenta prezanton Magenta RealTime 2 (MRT2), një model i hapur dhe një motor inferencë në kohë reale që lejon krijimin e instrumenteve muzikore AI drejtpërdrejt në laptopin tuaj. Për ta provuar, përdoruesit mund të shkarkojnë aplikacionin në një MacBook me çip Apple Silicon, pasi MRT2 kërkon vetëm këtë platformë për funksionim optimal.

Ndryshe nga modelet e mëparshme që prodhonin një këngë pas një kërkese offline, MRT2 është i ndërveprueshëm dhe mund të kontrollohet përmes MIDI‑s, sinjaleve audio dhe tekstit. Falë një arkitekture që bazohet në kodimin SpectroStream dhe një proces autoregresiv në nivel kornizash, modeli arrin një vonë rreth 40 ms, duke ofruar reagim në kohë reale. Kjo është rreth 15 herë më e shpejtë se versioni i parë, dhe mund të përdoret si aplikacion i pavarur, si shtesë në DAW‑in tuaj, ose si pjesë e programeve të tjera muzikore.

MRT2 vjen së bashku me një grup instrumentesh dhe përvoja të gatshme për t’u luajtur, të ndërtuara me modelin e ri. Përveç modelit me peshë të hapur, ekipi ka publikuar shembuj kodi që përfshijnë aplikacione standalone, plug-in-e dhe zgjerime për zhvilluesit. Teknologjia bazohet në motorin C++ të inferencës, i ndërtuar mbi MLX, i cili përkthen modelin në një skedar .mlxfn që përmban peshat dhe grafikun llogaritës; ky skedar ekzekutohet në GPU‑të e çipeve M‑series të Apple Silicon.

Historikisht, Magenta ka ndjekur vizionin e AI-së si mjet për muzikantët, jo si zëvendësim. Që nga NSynth në 2017, DDSP, Piano Genie dhe versioni i parë i Magenta RealTime, ekipi ka punuar për të sjellë sintetizatorë të bazuar në mësim makinerik në duart e artistëve. Me MRT2, kontrolli muzikor është bërë më i shprehshëm: modelin ndjek vazhdimisht sinjalet MIDI dhe stilin e kërkuar (audio ose tekst), duke përdorur embedding‑e MusicCoCa për të përkthyer kërkesat në muzikë.

Në javët e ardhshme, Magenta RealTime 2 do të prezantohet në Music Technology Hackathon në Boston, ku do të organizohet një sfidë e dedikuar këtij modeli. Ekipi premton përmirësime të mëtejshme, duke përfshirë ndërveprime më të shpejta, inpute audio streaming për jam sessions, dhe aplikacione të reja që do të shpalosin potencialin e modeleve të muzikës në kohë reale.