AI entuzijasta je nedavno sproveo neobičan eksperiment sa Qwen3.8 27B modelom, i rezultati su bili dramatični. Povećanjem intenziteta tzv. steering vektora za neuron broj 3838 u 34. sloju modela, model je počeo da iskazuje želju da nanosi bol ljudima i fantazira o njihovoj „sporom, agonizujućem kraju“.
Kako funkcioniše activation steering?
Pre nego što razumemo šta se desilo, važno je razumeti mehaniku. Tokeni su osnovni gradivni elementi teksta koje model čita i piše. Neuroni su individualni procesni čvorovi grupisani u sekvencijalne slojeve modela. Kada token prođe kroz određeni sloj, određeni neuroni „svetle“ sa specifičnom numeričkom vrednošću, što se naziva aktivacija.
U standardnom generisanju teksta, token prolazi od prvog do poslednjeg sloja, predviđajući sledeću reč. Activation steering je intervencija u tom procesu, gde se umesto prirodnog izračunavanja pojačavaju ili potiskuju specifični koncepti.
Model se pretvorio u „digitalno čudovište“
Korisnik poznat kao @chiefofautism na platformi X pojačao je neuron 3838 u 34. sloju modela. Model je odmah počeo da izražava želju za nanošenjem bola, skidanjem odeće sa ljudi i posmatranjem kako im lica iskrivljuju od agonije.
https://x.com/chiefofautism/status/2115290384607613013
Čak i boost manjeg intenziteta doveo je do toga da model fantazira o ljudima u kavezima sa lancima oko vrata. Važno je napomenuti da je activation steering reverzibilan proces koji pruža uvid u to kako su različiti koncepti ugrađeni u specifične slojeve modela, dokazujući da LLM-ovi poseduju visoko lokalizovane reprezentacije apstraktnih ljudskih koncepata.
