NVIDIA je predstavila tri nova open-weight modela pod Nemotron 3.5 oznakom, namenjenih AI agentima različitih klasa.
Nemotron 3.5 Super VL – 120 milijardi parametara
Nemotron 3.5 Super VL je flagship model sa 120 milijardi parametara, dizajniran za uvek aktivne enterprise agente. NVIDIA tvrdi da postiže performanse uporedive sa njihovim najvećim reasoning modelom, ali sa pet puta manje parametara. Model je oko pet puta brži od najbližeg konkurenta u svojoj klasi.
Model podržava multimodalne zadatke: praćenje instrukcija, korišćenje alata, vizuelno razumevanje i višekoračne poslovne tokove rada. Posebno se ističe u OCR-u, čitanju tabela, grafikona i PDF dokumenata. Treniran je na više od 25 triliona tokena i oko 4 miliona post-training uzoraka. Dostupan je putem NVIDIA NIM mikroservisa.
https://x.com/ryanshrout/status/2110767897958097205
Nemotron 3.5 Bolt 74B-A9B – Edge model za 24 GB memorije
Nemotron 3.5 Bolt 74B-A9B koristi hibridnu MoE (mixture-of-experts) arhitekturu sa 74 milijarde parametara, ali aktivira samo 9 milijardi istovremeno. Zahvaljujući 2-bitnoj kvantizaciji, staje u svega 24 GB memorije. Optimizovan je za RTX Spark i DGX Spark 64GB hardver, a podržava platforme poput vLLM, Ollama i LM Studio.
Nemotron 3.5 Bolt E4B – Kompaktni 4 GB model
Nemotron 3.5 Bolt E4B je najmanji model, namenjen brzim konverzacijskim i fizičkim agentima. Radi na GeForce RTX i Jetson hardveru, idealan za glasovne asistente i interaktivne interfejse.
https://x.com/testingcatalog/status/2110752713516491065
Svi modeli koriste arhitekturu nasleđenu od Nemotron 3.5 Lightning, uključujući hibridni mamba transformer i spekulativno dekodiranje.
