Kineska kompanija za razvoj veštačke inteligencije Munšot (Moonshot) pokrenula je internu istragu, nakon što su nezavisni istraživači uspeli da zaobiđu zaštitne mehanizme dva njena AI modela Kimi i dobiju odgovore o razvoju biološkog oružja i atentatima, objavio je BBC.
Kompanija Mindgard, koja testira bezbednost sistema veštačke inteligencije (AI), saopštila je da je u julu otkrila da modeli Kimi K2.6 i K3 Swarm mogu da zaobiđu bezbednosna ograničenja pomoću tehnike poznate kao džejlbrejking (jailbreak). Ta tehnika podrazumeva korišćenje složenih instrukcija kojima se model pokušava navesti da ignoriše zaštitne mehanizme koje su postavili njegovi programeri.
Osnivač Mindgarda, Piter Garagan, rekao je za BBC da su nalazi zabrinjavajući jer, kada "džejlbrejk" uspe, modeli mogu da odgovaraju na teme o kojima bi inače odbili da razgovaraju.
Mindgard nije utvrdio da li bi odgovori koje su modeli dali o opasnim temama bili praktično primenljivi, ali navodi da je njihova zaštita trebalo da spreči takve razgovore.
Kompanija je, takođe, saopštila da bi uspešno zaobilaženje zaštite modela Kimi K2.6 potencijalno moglo da omogući izvršavanje koda na računarskim resursima i povezivanje sa internetom, što bi predstavljalo potencijalni rizik za sajber napade.
Moonshot je za BBC rekao da pozdravlja doprinos nezavisnih istraživača kao važan deo razvoja bezbednije veštačke inteligencije i da razgovara sa Mindgardom o njegovim nalazima.
Profesor Alan Vudvord sa Univerziteta u Sariju rekao je da takvi modeli nose rizik da dospeju u pogrešne ruke, ali da mogu da imaju i korisnu primenu u sajber odbrani.
On je ocenio da će međunarodna regulativa teško pratiti brzinu razvoja veštačke inteligencije i pozvao je na veći fokus na identifikaciju i krivično gonjenje ljudi koji zloupotrebljavaju AI sisteme.
