NVIDIA je predstavila Lyra 2.0, AI framework koji pretvara jednu fotografiju u interaktivno 3D okruženje. Korisnici mogu slobodno da se kreću kroz generisani svet, a sistem kontinuirano generiše nove uglove i lokacije dok se korisnik pomera.
Tehnologiju je razvila NVIDIA-ina Spatial Intelligence Lab (SIL), a istraživanje je prvobitno objavljeno u aprilu 2026. NVIDIA sada ističe ovu tehnologiju uoči konferencije SIGGRAPH Asia 2026.
Rešavanje ključnih problema generativne AI
Lyra 2.0 rešava dva dugotrajna problema generativnih AI sistema: prostorno zaboravljanje i vremenski drift. Prostorno zaboravljanje nastaje kada AI model izgubi evidenciju o prethodno generisanim lokacijama, što vodi do nedoslednih struktura. Vremenski drift opisuje postepeno nagomilavanje vizuelnih i geometrijskih grešaka tokom duge generacije.
NVIDIA-ini istraživači razvili su sistem prostorne memorije koji koristi 3D geometrijske informacije za preuzimanje relevantnih prethodnih kadrova. Model je dodatno treniran na sopstvenim nesavršenim rezultatima, što ga uči da ispravlja greške umesto da ih pojačava.
Performanse i ograničenja
NVIDIA je razvila distilirani model koji smanjuje broj koraka generisanja videa sa 35 na svega četiri, što predstavlja oko 13 puta brže generisanje. Generisanje segmenta od 80 kadrova traje oko 15 sekundi na jednom NVIDIA GB200 GPU-u, nasuprot 194 sekunde kod punog modela.
Generisana okruženja mogu se rekonstruisati u 3D Gaussian Splats i poligonalne mreže, što omogućava renderovanje u realnom vremenu i izvoz u aplikacije poput NVIDIA Isaac Sim.
Tehnologija je za sada ograničena na pretežno statična okruženja, a povremene vizuelne nedoslednosti ostaju izazov. Implementacija je dostupna na GitHub-u, a težine modela na Hugging Face platformi, uz NVIDIA-ina istraživačka licencna ograničenja.
https://x.com/NVIDIAAI/status/2118800021013643269
