Singapurski startup Acrab predstavio je AI čip pod nazivom Gelix 1, koji bi mogao da parira Apple-ovom M4 Pro u oblasti AI inferenece. Čip je izrađen na 5nm procesu i donosi 20-jezgarni ARM CPU, dok mu je dizajn kompaktnog kućišta direktno inspirisan Mac mini konceptom.
Impresivne performanse na papiru
Prema internim benchmark testovima kompanije Acrab, Gelix 1 postiže pre-fill brzinu od 1.416 tokena u sekundi pri pokretanju Gemma 26B modela sa kontekstualnim prozorom od 40.000 tokena. U istom testu, M4 Pro Mac mini ostvario je svega 188 tokena u sekundi. Treba napomenuti da nezavisne verifikacije ovih rezultata još uvek nisu sprovedene, što znači da ove podatke treba uzeti sa rezervom.
Unified memorija i bandwidth
Gelix 1 koristi višejezgarnu neuronsku procesorsku jedinicu i unified memorijsku arhitekturu koja omogućava propusni opseg od 273GB/s – vrednost identična onoj kod M4 Pro. Maksimalna konfiguracija memorije navodno iznosi 128GB, što bi omogućilo pokretanje modela sa 100 milijardi parametara lokalno. Poređenja radi, M4 Pro Mac mini trenutno nudi maksimalno 48GB unified RAM-a.
Privatnost i lokalno pokretanje AI modela
Glavna prednost Gelix 1 sistema je mogućnost lokalnog pokretanja velikih jezičkih modela bez oslanjanja na cloud infrastrukturu. To ga čini zanimljivim za korisnike i kompanije kojima su privatnost i latencija prioritet. Cena i datum dostupnosti za sada nisu poznati, ali konfiguracija sa 128GB memorije sigurno neće biti jeftina.
