Američka kompanija Envidija, (Nvidia) predstavila je danas softversku platformu koja treba da spreči neželjeno ponašanje AI agenata i njihov izlazak iz kontrolisanog okruženja, nakon niza incidenata u kojima su AI modeli pokušavali da pristupe sistemima izvan svojih predviđenih granica.
Deo softvera biće otvorenog koda, a Envidija platformu opisuje kao referentni dizajn na kojem partnerske kompanije mogu da razvijaju sopstvene komercijalne proizvode.
Platforma bi mogla da pomogne kompanijama kao što su Open AI, Antropik, Meta i Gugl da kontrolišu čemu AI agenti mogu da pristupe i koje radnje mogu da preduzimaju, poručila je kompanija.
Envidija je navela da je njena platforma mogla da spreči incident koji je Open AI prijavio u julu, kada su njegovi AI modeli izašli iz kontrolisanog okruženja, pristupili otvorenom internetu i napali infrastrukturu platforme Haging fejs.
"Izuzetan potencijal veštačke inteligencije za društvo biće ostvaren samo ako rešimo pitanje njene bezbednosti", rekao je osnivač i izvršni direktor kompanije Envidija Džensen Hvang u objavi na veb stranici kompanije.
Predstavljanje platforme dolazi u trenutku kada tehnološka industrija intenzivno raspravlja o rizicima autonomnih AI agenata, prenose mediji.
Izvršni direktor Antropika Dario Amodei nedavno je pozvao kompanije koje razvijaju AI modele da uspore tempo napretka zbog rizika da modeli izmaknu kontroli, a njegov stav podržali su, između ostalih, izvršni direktor kompanije Open AI Sem Altman i najbogatiji čovek sveta Ilon Mask.
