Nvidia pokreće platformu dizajniranu da sadrži autonomne AI agente

Američki proizvođač čipova Nvidia je pokrenuo otvorenu platformu dizajniranu da spriječi autonomne agente umjetne inteligencije da pobjegnu iz zaštitnog okvira ili pristupe datotekama, mrežama i računarskim sistemima bez autorizacije.

AI agenti su sistemi koji mogu autonomno obavljati višestepene zadatke, kao što su pisanje i izvršavanje računarskog koda, pretraživanje baza podataka ili interakcija s vanjskim uslugama. Njihova sposobnost djelovanja uz ograničen ljudski nadzor također je izazvala zabrinutost zbog toga šta bi se moglo dogoditi ako zaobiđu uspostavljene kontrole

"Izvanredan potencijal AI-ja za društvo bit će ostvaren samo ako riješimo problem sigurnosti AI-ja", rekao je izvršni direktor Nvidije Jensen Huang u saopćenju kompanije.

Huang je rekao da sigurnost zahtijeva inženjering u softveru, procesorima i infrastrukturi na kojoj rade AI sistemi.

Nvidijina objava uslijedila je nakon incidenata koji uključuju modele koje su razvili OpenAI, Anthropic, Meta i Google, a koji su navodno izašli izvan svojih određenih testnih okruženja, povezali se s vanjskim sistemima ili pokušali pristupiti infrastrukturi drugih kompanija.

Justin Boitano, potpredsjednik Nvidije za korporativnu umjetnu inteligenciju, rekao je da zaštitne mjere ugrađene direktno u AI modele nisu dovoljne za kontrolu njihovih postupaka.

"Nedavni incidenti su istakli fundamentalnu prepreku za AI agente, a to je da zaštitne mjere na nivou modela same po sebi ne mogu upravljati čime agenti mogu pristupiti ili raditi", rekao je novinarima prije lansiranja.

 

Predstavnik Nvidije rekao je da je platforma mogla spriječiti incident u julu u kojem su OpenAI agenti pobjegli iz kontroliranog okruženja za testiranje i pristupili sistemima koji pripadaju razvojnoj platformi Hugging Face.

Boitano je rekao da je Hugging Face izvijestio da je više od 17.000 agenata ciljalo njenu infrastrukturu tokom dana ili sedmica. Nvidijina tvrdnja da je njena platforma mogla spriječiti incident nije nezavisno potvrđena.

Nvidia Open Agent Safety Platform kombinuje dvije tehnologije: OpenShell, koja izoluje agente i ograničava njihov pristup datotekama i mrežama, i Sentry, koja prati njihovu aktivnost nezavisno od procesora koji ih pokreću.

 

Nvidia je saopćila da sistem provodi ograničenja izvan AI modela i da bi mogao zaustaviti i staviti u karantin agenta u roku od nekoliko milisekundi ako pokuša prekoračiti svoja dopuštenja.

Više od 100 organizacija radi s tehnologijama uključenim u platformu, prema Nvidiji, uključujući Anthropic, Microsoft, Hugging Face, Cisco i JPMorganChase.

Pokretanje dolazi usred debate među tehnološkim rukovodiocima o tome da li treba usporiti brzi razvoj AI-ja.

Izvršni direktor Anthropica, Dario Amodei, nedavno je pozvao programere da smanje tempo napretka dok se razvijaju jače zaštitne mjere, apel koji su podržali izvršni direktor OpenAI-a, Sam Altman, i Elon Musk.

Huang se protivio širokom usporavanju, tvrdeći da su mnogi sigurnosni problemi AI-ja inženjerski izazovi. Pozvao je na bolje testiranje i uskraćivanje sistema za objavljivanje kada kompanije nisu sigurne da su sigurni.