Nvidia Rilis OpenShell dan Sentry, Platform Pengaman Agen AI Nakal
PerbesarNvidia merilis platform keamanan untuk agen kecerdasan buatan (AI) pada Senin (28/9), namanya OpenShell dan Sentry. Perusahaan mengeklaim alat tersebut dapat mencegah insiden peretasan yang dilakukan oleh agen AI, seperti insiden Hugging Face beberapa waktu lalu.
Agen AI merupakan sistem yang dapat menjalankan tugas kompleks. Kemampuan itu juga menimbulkan risiko ketika model AI bertindak di luar batas yang ditetapkan.
Salah satu alat baru Nvidia, OpenShell, memanfaatkan fitur perangkat keras pada prosesor pusat perusahaan untuk membatasi aktivitas agen AI. Nvidia juga bekerja sama dengan Arm Holdings dan Intel agar sistem tersebut dapat berjalan pada prosesor buatan kedua perusahaan itu.
Nvidia turut memperkenalkan Sentry, sistem yang memakai chip Nvidia terpisah bersama OpenShell untuk menghentikan agen jika mencoba keluar dari lingkungan yang membatasinya.
Justin Boitano, Vice President and General Manager of Enterprise Computing Nvidia, mengatakan platform tersebut berpotensi mencegah serangan terhadap Hugging Face jika laboratorium AI sudah menggunakannya saat mengevaluasi model.
"Berdasarkan apa yang kami ketahui, platform keamanan baru ini bisa menghentikan pembobolan tersebut jika digunakan di laboratorium AI terdepan untuk evaluasi model sejak awal," kata Boitano, mengutip Reuters.
Boitano mengatakan Nvidia mengembangkan sistem itu secara terbuka dan mengajak pihak lain bekerja sama.
Menurut Senior Director of AI Software Nvidia, Ali Golshan, perangkat tersebut menggunakan rumus matematika untuk mendeteksi upaya agen menghindari pembatasan. Salah satu contohnya ialah ketika sebuah agen membuat beberapa agen turunan untuk mengakali pemblokiran terhadap agen utama.
"Yang kita bicarakan adalah perilaku agen, termasuk sekelompok agen dan cara mereka bekerja bersama," ujar Golshan.
CEO Nvidia, Jensen Huang, sebelumnya memandang persoalan agen AI yang lepas kendali sebagai masalah rekayasa teknologi. Sikap itu sejalan dengan penolakannya terhadap seruan regulasi keamanan AI yang sedang digaungkan oleh para pemimpin perusahaan AI.