NVIDIA planira značajno smanjenje memorijskog kapaciteta svojih Vera Rubin NVL72 rack sistema, prema analizi GF Securities. Razlog je visoka cena i nestašica memorije na tržištu, a bez ovih prilagođavanja troškovi memorije mogli bi da dostignu 29% ukupnih materijalnih troškova sistema – znatno iznad poželjnog nivoa od 20%.
Performanse i cena NVL72 sistema
Vera Rubin NVL72 rackovi spadaju među najmoćnije AI sisteme na svetu. Podaci koje je podelila kompanija CoreWeave pokazuju da VR200 NVL72 platforma obrađuje MoE radne zadatke brzinom od 800.000 tokena u sekundi – što je 10x više u poređenju sa Blackwell GPU sistemima koji postižu 80.000 tokena u sekundi. Analitičarska firma Bernstein procenila je da jedan NVL72 rack košta oko 9,1 milion dolara, delimično zbog rasta cena HBM4 memorije koje bi mogle dostići 53 dolara po GB do 2027. godine.
Smanjenje kapaciteta SOCAMM i LPDDR5X memorije
Prema GF Securities, NVIDIA planira da prepolovi kapacitet SOCAMM modula u VR200 NVL72 rackovima – sa 192GB na 96GB po modulu. Ovo je direktan odgovor na ograničenja u snabdevanju LPDDR5X memorijom. Vera CPU rackovi bi takođe smanjili ukupnu memoriju sa 54–55TB na 28TB, dok GPU rackovi zadržavaju 20,7TB HBM4 memorije.
https://x.com/pequityresearch/status/2081142521225212045
Finansijski efekat
Ova smanjenja bi mogla da obore LPDDR5X troškove VR200 sistema sa 1,2 miliona dolara na svega 293.000 dolara u najoptimističnijem scenariju. Bez prilagođavanja, ukupni troškovi memorije mogli bi doseći 2,1 milion dolara po racku, što bi memoriju učinilo preskupom komponentom čitavog sistema.
