Istraživači iz Unemployment Labs tvrde da su kineski AI modeli kompanije DeepSeek i Moonshot AI možda koristili klastere sa hiljadama NVIDIA Blackwell GPU-ova tokom inicijalizacije treniranja. Metoda se zasniva na obrnutom inženjeringu težina AI modela kako bi se otkrio otisak hardvera koji odgovara specifičnoj GPU arhitekturi.
Kako funkcioniše forenzička analiza
Svaka GPU arhitektura ima drugačiji raspored streaming multiprocesora (SM), što diktira tačan mrežni obrazac koji se koristi za postavljanje početnih nasumičnih vrednosti u AI model pre treniranja. Istraživač DuPue je uporedio statičke obrasce težina analiziranih modela sa obrascima inicijalizacije karakterističnim za NVIDIA-ine Hopper i Blackwell GPU-ove. Zaključak je da su modeli pokrenuli treniranje na NVIDIA čipovima.
Procena broja GPU-ova
Prema nalazima, pojedinačni treninzi koristili su klastere od 3.000 do 4.500 Blackwell GPU-ova. Ukupna procena za modele DeepSeek-V4-Flash, DeepSeek-V4-Pro, MiniMax-M3, Kimi K3 i Ling-3.1-flash kreće se između 7.000 i 22.000 GPU-ova kumulativno, uz napomenu da procena zavisi od toga da li su modeli delili isti klaster.
Istraživači ipak naglašavaju: „Naši nalazi pružaju tehničke dokaze o pristupu naprednom hardveru, ali ne utvrđuju gde su se čipovi nalazili, kako je pristup ostvaren niti da li su prekršeni propisi o kontroli izvoza.“
Iako su NVIDIA-ini Blackwell GPU-ovi izvozno kontrolisani za Kinu, kineski AI laboratoriji im mogu pristupiti daljinski putem GPU klastera. Trag se gubi kod modela DeepSeek V4.1 Flash, čija nova arhitektura maskira GPU otisak inicijalizacije.
https://x.com/benitoz/status/2120312481583448104
