PrismML Rancang Model AI Super Kecil untuk PC dan Smartphone
PerbesarLab kecerdasan buatan artificial intelligence PrismML tengah melakukan terobosan besar dengan membuktikan bahwa model bahasa besar large language model atau LLM yang cerdas tidak harus berukuran raksasa. Melalui pendekatan kompresi radikal, startup ini berhasil mengecilkan model penalaran AI hingga mampu berjalan secara lokal di perangkat harian seperti komputer pribadi (PC) hingga smartphone tanpa kehilangan kemampuan analisisnya.
Langkah ini didukung oleh rilis teranyar mereka, Bonsai 2 27B, yang memangkas ukuran model open-source populer Qwen3.8 27B milik Alibaba dari kapasitas aslinya menjadi hanya sekitar 5,9 gigabita (GB). Pengurangan konsumsi memori hingga hampir sepuluh kali lipat ini membuka babak baru di mana teknologi kecerdasan buatan kelas atas tidak lagi bergantung pada infrastruktur server raksasa yang mahal.
Kompresi Ekstrem Tanpa Mengorbankan Kinerja
Banyak pihak meragukan efisiensi kompresi karena biasanya berdampak buruk pada tingkat akurasi AI. Namun, CEO PrismML Babak Hassibi, yang juga seorang profesor di Caltech, menegaskan bahwa teknologi mereka sangat unik karena hampir tidak mengurangi kinerja model asli. Berdasarkan pengujian, Bonsai 2 mampu menyamai 98 persen skor tolok ukur benchmark agregat dari model asli Qwen, sebuah peningkatan signifikan dari versi pertama yang dirilis Maret lalu dengan tingkat akurasi 95 persen.
Hassibi menjelaskan bahwa penurunan performa sebanyak 2 persen hampir tidak akan terasa dalam penggunaan praktis di dunia nyata. Menurutnya, performa LLM dalam kondisi tidak terkompresi pun tidak pernah benar-benar sempurna, dan pengujian akademis sering kali tidak mencerminkan tugas harian pengguna secara presisi. Terlebih lagi, perangkat lunak pendukung tempat model tersebut berjalan juga memegang peranan krusial dalam menjaga akurasi sistem.
Rahasia Teknologi Bobot Ternary
Keberhasilan PrismML dalam memangkas ukuran data hingga sembilan kali lipat bertumpu pada arsitektur penyimpanan informasi yang cerdas. Pada umumnya, setiap bobot weight—yang merepresentasikan data hasil pembelajaran AI selama fase pelatihan—membutuhkan ruang penyimpanan sebesar 16 bit. PrismML merombak struktur ini dengan memperkenalkan sistem ternary weights yang menyederhanakan nilai penyimpanan menjadi hanya tiga opsi, yaitu +1, -1, atau 0.
Dengan menyusutkan nilai yang harus disimpan pada setiap bobot secara drastis, ukuran keseluruhan berkas model menyusut secara masif. Rencana jangka panjang startup yang didukung oleh Khosla Ventures, Cerberus Capital, dan Caltech ini adalah menerapkan teknik serupa pada model berskala jauh lebih besar dengan parameter mencapai ratusan miliar. Hassibi memproyeksikan bahwa semakin besar model aslinya, semakin mudah pula bagi mereka untuk mempertahankan kecerdasan hingga tingkat akurasi 100 persen setelah dikompresi.
Demokratisasi AI yang Murah dan Privat
Penasihat PrismML yang juga merupakan pendiri Databricks, Ion Stoica, menyatakan antusiasmenya terhadap pergeseran komputasi AI dari pusat data cloud langsung ke perangkat keras pengguna. Stoica menekankan keuntungan ganda yang akan dinikmati oleh masyarakat luas, mulai dari efisiensi biaya hingga jaminan privasi data yang jauh lebih aman.
“Anda akan memiliki kecerdasan di ujung jari Anda, dan itu akan gratis karena berjalan di perangkat yang sudah Anda beli,” ujar Stoica dalam sebuah pernyataan resmi. Keuntungan lainnya juga menyasar sektor privasi karena pengguna tidak perlu lagi mengirimkan data sensitif mereka ke server eksternal milik pihak ketiga untuk diproses, melahirkan ekosistem teknologi yang lebih aman secara fundamental.