NVIDIA je objavio podršku prvog dana za DiffusionGemma, novi open-source AI model kompanije Google DeepMind. Podrška obuhvata celokupan RTX i DGX ekosistem, od GeForce RTX grafičkih karti do DGX Spark sistema i profesionalnih radnih stanica.
https://x.com/NVIDIAAI/status/2064770996603863328
Šta je DiffusionGemma?
DiffusionGemma je model za brzo generisanje teksta koji paralelno obrađuje do 256 tokena po koraku, umesto uobičajenog generisanja token po token. Izgrađen je na arhitekturi Gemma 4 sa 26 milijardi parametara, od kojih se aktivira samo 3,8 milijardi po koraku. Model je dostupan pod Apache 2.0 licencom i može da radi lokalno, bez cloud zavisnosti.
Performanse na NVIDIA hardveru
NVIDIA-ini sistemi postižu impresivne rezultate. DGX Spark isporučuje 150 tokena u sekundi, dok H100 Tensor Core GPU na DGX Station dostiže 1.000 tokena u sekundi na jednoj grafičkoj kartici. DGX Station nudi i do 800 TPS uz 748GB koherentne memorije.
DGX Spark koristi NVIDIA GB10 Grace Blackwell Superchip sa 128GB unifikovane memorije i dolazi sa preinstaliranim AI softverom. RTX PRO 6000 radne stanice su namenjene profesionalcima koji trebaju lokalno generisanje s niskom latencijom. Podrška za GeForce RTX karticama putem llama.cpp stiže uskoro.
Model nudi oko 4 puta veće performanse u poređenju sa ekvivalentnim autoregresivnim modelom, bez potrebe za dodatnim podešavanjima zahvaljujući CUDA softveru i tensor core arhitekturi.