Meta je nedavno predstavila Movie Gen, napredni AI model za generisanje video sadržaja koji omogućava kreiranje visokokvalitetnih videa uz tekstualne zahteve. Model je dizajniran da parira sličnim AI modelima kao što su OpenAI Sora i Google Veo. Movie Gen se sastoji od dve ključne komponente: modela za video i modela za zvuk.
Model za video, baziran na transformatoru sa 30 milijardi parametara, omogućava generisanje videa do 16 sekundi u visokoj rezoluciji (16 fps). S druge strane, audio model ima 13 milijardi parametara i može generisati zvučne efekte u trajanju do 45 sekundi, koji su precizno sinhronizovani sa video sadržajem.
Zanimljivo je da Movie Gen omogućava i editovanje postojećih videa pomoću tekstualnih komandi, što obuhvata dodavanje, uklanjanje ili izmenu objekata u videu. Na primer, moguće je izmeniti video gde osoba baca loptu tako da baca lubenicu, uz očuvanje ostatka sadržaja. Takođe, model podržava personalizovano generisanje videa, gde se slike stvarnih osoba mogu koristiti za kreiranje videa koji zadržava njihovu autentičnost i pokrete.
Movie Gen je razvijen korišćenjem velike baze podataka, uključujući 100 miliona parova video-tekst i milijardu parova slika i teksta, čime se osigurava veća preciznost u generisanju video i audio sadržaja. Glavni izazovi za model uključuju složenije razumevanje scena i implementaciju mera protiv zloupotrebe, kao što su deepfake sadržaji.
Za sada, Meta ne planira otvorenu dostupnost modela za developere, već ga koristi u saradnji sa filmskom industrijom, kao i u sopstvenim proizvodima, dok se paralelno radi na njegovom poboljšanju.