Qualcomm je potvrdio da je njegova prva generacija High Bandwidth Compute (HBC) silicijuma uspešno validirana u laboratoriji u San Dijegu. Ovo je važan korak u razvoju memorijskog rešenja namenjenog AI inferenci u data centrima.
Zašto je memorijska propusnost problem?
Svaki generisani token u LLM modelima zahteva da se podaci iz memorije konstantno šalju ka računarskim jedinicama. Na nivou data centara, ta kretanja podataka troše energiju, povećavaju latenciju i dižu ukupne troškove. HBC arhitektura rešava ovaj problem postavljanjem računarskih jedinica bliže memoriji, smanjujući put podataka sa milimetara na mikrometre.
Kako funkcioniše HBC dizajn?
Qualcomm slaže LPDDR memorijske slojeve direktno na aktivni AI akcelerator koristeći wafer-to-wafer bonding tehnologiju. Rezultat je 18x veća efektivna memorijska propusnost u poređenju sa LPDDR5X, kao i više od 5x veća propusnost po vatu u odnosu na projektovane HBM4 specifikacije. Treba napomenuti da su performanse efikasnosti ipak malo ispod projektovanog cilja od 6x, a sami rezultati potiču iz Qualcomm-ove sopstvene laboratorije.
Dragonfly AI250 i planovi za 2027.
Komercijalni proizvod Dragonfly AI250 planiran je za uzorkovanje u prvoj polovini 2027. godine. Komercijalni proizvodi koristiće četvoroslojni DRAM stek. Sistem uključuje rack sa potpunim tečnim hlađenjem, 38,6 TB memorije i 7,4 petabajta po sekundi efektivne propusnosti. Qualcomm planira i lansiranje Oryon-baziranog C1000 server CPU-a u 2027., dok sledeća generacija HBC dolazi u modelu Dragonfly AI300 tokom 2028. godine.
