LLM Lokal untuk Privasi Data Tetap Punya Risiko

Foto: Istimewa

SEVIMA - LLM lokal untuk privasi data dapat menjadi pilihan ketika perusahaan tidak ingin informasi sensitif dikirim ke layanan model yang dihosting pihak lain. Menjalankan model di server sendiri atau perangkat pengguna memberi organisasi kontrol lebih besar atas lokasi pemrosesan, tetapi tidak otomatis membuat aplikasi AI bebas dari serangan atau kebocoran data.

Hal tersebut dibahas Profesor Institut Sains dan Teknologi Terpadu Surabaya (ISTTS), Prof. Dr. Ir. Esther Irawati Setiawan, S.Kom., M.Kom., pada Level Up Session Agentic AI for Engineers: The New Baseline Skill for 2026 di SEVIMA HQ, Surabaya, Sabtu, 7 Februari 2026. Ia menjelaskan pemilihan lokasi model perlu menyesuaikan sensitivitas data dan kebutuhan sistem.

“Kalau kita pakai open source LLM, dia bisa jalan hanya di server kantor atau company saja. Jadi data user itu enggak pernah masuk ke pusat data di cloud seperti Google atau AWS atau lainnya,” kata Esther Irawati Setiawan.

Model yang dijalankan secara lokal memberi organisasi pilihan untuk menjaga aliran data tetap berada dalam lingkungan yang dikelola sendiri. Pendekatan ini relevan untuk source code internal, data pelanggan, dokumen transaksi, atau informasi lain yang memiliki pembatasan akses.

On-Device Memindahkan Lokasi Pemrosesan

Merujuk artikel Own your AI: Learn how to fine-tune Gemma 3 270M and run it on-device di Google Developers Blog, salah satu contoh implementasi model lokal. Setelah model tersimpan di perangkat, permintaan berikutnya dapat diproses secara lokal, data pengguna tetap berada di perangkat, latensi menjadi rendah, dan aplikasi dapat berfungsi tanpa koneksi internet.

Laman resmi Google AI for Developers dalam panduan Membangun asisten coding AI pribadi dengan Gemma juga menjelaskan bahwa model Gemma dapat diunduh dan dijalankan pada hardware sendiri. Pendekatan itu memungkinkan data coding tetap berada di jaringan organisasi, sekaligus memberi kontrol lebih besar ketika penggunaan model pihak ketiga dibatasi karena konektivitas, biaya, atau keamanan data.

Esther Irawati Setiawan menyebut pola yang sama dapat diterapkan pada agent. “Kita pakai on device LLM, kita pakai open source agent platform, semuanya bisa jalan di lokal seperti itu,” ujarnya.

Namun, keputusan on-device atau on-premise tetap memiliki biaya dan konsekuensi. Organisasi harus menyediakan kapasitas komputasi, proses pembaruan model, monitoring, pengendalian akses, dan pengamanan aplikasi yang menghubungkan model dengan data atau tool lain.

Prompt Injection Tidak Hilang karena Model Lokal

Kesalahan yang perlu dihindari adalah menganggap pemrosesan lokal identik dengan keamanan menyeluruh. Ancaman pada AI tidak hanya berasal dari lokasi server. Input yang sengaja dirancang untuk memengaruhi instruksi model juga dapat menjadi pintu masuk ketika aplikasi tidak memiliki batasan yang memadai.

“Cuman yang masalah prompt tadi, memang meskipun kita sudah di server company lokal, kalau prompt kita bisa di-inject, itu masalah lagi,” kata Esther Irawati Setiawan.

Ia menambahkan bahwa prompt injection masih dapat mengarahkan sistem untuk menghasilkan data privat. “Data PII tadi bisa bocor kalau di-injection prompt-nya meskipun sudah enggak pakai Gemini atau GPT yang online,” jelasnya.

Merujuk LLM06:2025 Excessive Agency dari OWASP Gen AI Security Project, risiko tersebut beririsan dengan kategori excessive agency. Dokumen itu mencatat prompt injection sebagai salah satu pemicu yang dapat menyebabkan agent melakukan tindakan tidak diinginkan, terutama jika sistem mempunyai fungsi, izin, atau otonomi yang terlalu luas.

Kebutuhan Privasi dan Kebutuhan Keamanan Berbeda

Privasi data terutama menjawab pertanyaan mengenai siapa yang dapat menerima, menyimpan, dan memproses informasi. Keamanan agent mencakup pertanyaan yang lebih luas, termasuk siapa yang boleh memberi instruksi, tool apa yang dapat dijalankan, data mana yang dapat dibaca, serta tindakan apa yang diizinkan ketika model salah.

Karena itu, memilih LLM lokal untuk privasi data sebaiknya ditempatkan sebagai satu lapisan arsitektur. Lapisan lain tetap diperlukan, seperti least privilege, filtering input, validasi output, logging, pemisahan data sensitif, dan pengawasan terhadap tindakan berisiko.

Arsitektur lokal juga perlu membedakan data yang benar-benar harus berada di jaringan internal dan data yang aman diproses dengan layanan lain. Pemisahan ini dapat mencegah organisasi membangun infrastruktur mahal untuk seluruh kebutuhan hanya karena sebagian kecil datanya sensitif. Sebaliknya, data paling kritis dapat ditempatkan pada jalur yang lebih ketat dengan akses terbatas.

Tim keamanan kemudian perlu menguji hubungan antara model dan tool. Model yang lokal tetap dapat memanggil API, membaca basis data, atau mengakses berkas jika aplikasi memberinya kewenangan. Dengan demikian, lokasi model dan batas akses aplikasi harus dinilai sebagai dua keputusan berbeda. Pengujian tetap dibutuhkan sebelum sistem dipakai pada data produksi.

Data yang dipublikasikan NIST dalam Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile menempatkan pengelolaan risiko AI sebagai proses sepanjang siklus hidup. Pendekatan tersebut menekankan bahwa kontrol perlu disesuaikan dengan konteks penggunaan, bukan hanya dengan jenis model yang dipakai.

Bagi perusahaan, keputusan cloud atau lokal sebaiknya dimulai dari pemetaan data dan risiko. Data dengan sensitivitas tinggi dapat mendorong penggunaan model lokal, tetapi arsitektur tetap harus mengantisipasi prompt injection, kebocoran PII, penyalahgunaan tool, dan kesalahan konfigurasi. LLM lokal untuk privasi data memperkecil satu jenis paparan, bukan menghapus seluruh permukaan serangan.