CEO Microsoft Dorong AI Punya Rem Darurat: Anggap Model Sudah Disusupi dari Awal
PerbesarCEO Microsoft Satya Nadella mendorong agar setiap entitas pengembang artificial intelligence (AI) mesti wajib dilengkapi dengan mekanisme rem darurat alias emergency brake. Pernyataan ini mengemuka seiring kian meluasnya penggunaan sistem AI berbasis agen (agentic AI) yang diberi akses ke data sensitif serta wewenang mengeksekusi keputusan krusial di berbagai sektor bisnis.
"[Rem darurat ini adalah] operator manusia yang berwenang harus selalu dapat menjeda (pause) atau mematikan (shut down) model di tengah tugas," kata dia dalam catatannya di X.
Satya Nadella menggarisbawahi adanya perbedaan mendasar antara perangkat lunak tradisional dan model AI modern. Pada sistem perangkat lunak konvensional, para insinyur dapat melacak alur keputusan hingga ke baris kode spesifik (code path).
Sebaliknya, pada sistem Super Intelligence (sebutan lain artificial intelligence dari pemerintah AS), perilaku maupun keluaran model tidak dapat dihubungkan secara langsung ke data pelatihan atau konfigurasi bobot (model weights) tertentu.
Kondisi tersebut dinilai berisiko tinggi jika perusahaan menyerahkan kontrol penuh kepada AI tanpa batas pengamanan yang jelas. Ia berseru bahwa manusia tidak boleh lepas tanggung jawab atas apa yang dilakukan AI atas nama kita.
"Kita tidak bisa memperlakukan Super Inteligensi sebagai sekumpulan kotak hitam (black boxes) yang saling bersarang, lalu begitu saja menerima atau menolak rekomendasi, jawaban, serta tindakan mereka. Kita harus membangun sistem yang terkungkung (terisolasi) di mana perilakunya dapat kita amati, batasannya dapat kita uji, dan tindakannya selalu dapat kita kendalikan," tulis Nadella dalam catatan di akun X pribadinya.
Anggap AI Sudah Disusupi Sejak Awal
Oleh karena itu, Nadella menekankan pentingnya memisahkan penyediaan kecerdasan (supply of intelligence) dari otoritas atas tindakan AI tersebut. Sederhananya: jangan beri AI kunci wewenang sendiri dari manusia dan perlakukan AI seperti karyawan yang bisa bikin salah.
"Bukan karena mereka pasti berniat jahat, tetapi karena aktor mana pun yang cukup cakap dengan akses ke sistem penting dapat membuat kesalahan atau disusupi, dan arsitektur pengungkungan serta kontrol harus memperhitungkan hal tersebut," kata Nadella.
Untuk mewujudkan tata kelola tersebut, Nadella mengusulkan sistem Super Intelligence perlu dirancang di atas tujuh prinsip observabilitas dan pengungkungan berikut:
Keragaman Model (Model Diversity): Tidak boleh ada satu model tunggal yang menjadi satu-satunya ketergantungan untuk hasil penting atau bertindak memverifikasi pekerjaannya sendiri.
Observabilitas Total (Observe Everything): Setiap tindakan bermakna wajib meninggalkan bukti yang tidak dapat dimanipulasi (tamper-proof) dan dapat dibaca manusia agar prosesnya dapat direproduksi secara independen.
Verifikabilitas (Verifiability): Pengujian sistem dilakukan secara berkesinambungan terhadap skenario kegagalan, serangan, kasus ekstrem (edge cases), dan perubahan sistem—bukan sekadar saat tugas berhasil.
Kontrol Independen (Independent Controls): Batas akses data dan hak tindakan ditentukan secara mandiri oleh sistem di luar model AI.
Kemampuan Audit Independen (Independent Auditability): Validasi harus terpisah dari kecerdasan yang sedang dievaluasi agar proses pembuktian tetap objektif.
Pengungkungan dan Rem Darurat (Containment & Emergency Brake): Asumsikan model telah disusupi sejak awal. Operator manusia yang berwenang harus selalu dapat menjeda (pause) atau mematikan (shut down) model di tengah tugas.
Pengungkapan Insiden (Incident Disclosure): Jika terjadi kegagalan atau kompromi sistem, detail insiden dan kontrol yang jebol harus diungkapkan secara transparan demi pembelajaran seluruh industri.