Aplikasi Lensa AI yang Viral Dikecam: Bikin Avatar Vulgar

Aplikasi Lensa AI buatan Prisma Labs. Foto: Muhammad Fikrie/kumparan

Aplikasi edit foto berteknologi kecerdasan buatan (artificial intelligence/AI), Lensa AI, ramai menjadi perbincangan publik di dunia maya. Aplikasi tersebut mampu menyulap foto portrait kita menjadi avatar kartun dengan variasi pose, warna, hingga gaya secara otomatis.

Lensa AI tidak hanya viral karena inovasinya, tetapi juga kontroversialnya. Beberapa pengguna melaporkan aplikasi tersebut menciptakan avatar mereka terlalu vulgar.

Pengguna Twitter dengan nama akun @_trashbaby13, misalnya, mengeluhkan Lensa AI memproduksi ilustrasi avatarnya terlalu terbuka. Padahal pengguna mengaku tidak mengunggah foto telanjangnya ke aplikasi.

Salah satu foto avatar dari pengguna akun Twitter akun @_trashbaby13 yang dibuat oleh aplikasi Lensa AI. Foto: @_trashbaby13/Twitter

Pengalaman serupa juga dirasakan oleh @donohue_erika. Ia mengeklaim Lensa AI membuatnya terlihat vulgar lewat gambar avatar, meski dirinya tidak membagikan foto tanpa pakaian ke aplikasi.

Salah satu foto avatar dari pengguna akun Twitter akun @donohue_erika yang dibuat oleh aplikasi Lensa AI. Foto: @donohue_erika/Twitter

Tanggapan Prisma Labs, pengembang Lensa AI

Prisma Labs, selaku perusahaan di balik Lensa AI, menjawab isu yang dialami oleh penggunanya ini. Mereka mengatakan konten eksplisit yang dihasilkan aplikasinya murni tidak disengaja.

“Ketentuan Penggunaan kami (Klausul 6) dan Ketentuan Layanan Stability AI (Prompt Guideline) secara eksplisit melarang penggunaan alat untuk terlibat dalam perilaku yang berbahaya atau melecehkan,” kata CEO dan salah satu pendiri Prisma Lab, Andrey Usoltsev.

“Pembuatan dan penggunaan konten tersebut secara luas dapat menimbulkan tindakan hukum, karena baik AS maupun Inggris menganggap tindakan berbagi konten dan gambar eksplisit yang dihasilkan tanpa persetujuan sebagai kejahatan. Kami memberikan panduan yang dengan jelas menetapkan persyaratan gambar kami dan dilarang keras menggunakan penggambaran eksplisit apa pun. Kami berharap pengguna aplikasi mengikuti pedoman untuk menerima hasil terbaik.”

Kenapa bisa hasilkan foto vulgar?

Penyebab kenapa AI bisa menghasilkan konten eksplisit dapat dijelaskan dengan darimana sumber data yang digunakan AI berasal. AI diciptakan dengan dilatih menggunakan ribuan atau jutaan data —dalam kasus ini adalah gambar.

Lensa AI sendiri menggunakan model kecerdasan buatan open source Stable Diffusion, yang dibuat Stability AI.

Aplikasi Lensa AI dari Prisma Labs. Foto: Prisma Labs

Dari data yang digunakan, sangat mungkin ada gambar eksplisit yang lolos dan tak tersaring masuk ke pengolahan AI. Ini kemudian menjadi bagian dari filter yang dihasilkan.

“Neural networks Stable Diffusion berjalan di belakang proses pembuatan avatar,” kata Usoltsev.

“Stability AI, pembuat model, melatihnya pada kumpulan data tak tersaring yang cukup besar dari seluruh internet. Baik kami, maupun AI Stabilitas tidak dapat secara sadar menerapkan bias representasi apa pun; Untuk lebih tepatnya, data tanpa filter buatan manusia yang bersumber daring memperkenalkan model tersebut pada bias umat manusia yang ada. Pencipta mengakui kemungkinan bias sosial. Kami juga.”

Usoltsev mengatakan mereka sedang bekerja untuk memperketat filter konten eksplisit yang lolos.

“Kami menetapkan bahwa produk tersebut tidak ditujukan untuk anak di bawah umur dan memperingatkan pengguna tentang konten potensial,” kata Usoltsev kepada TechCrunch. “Untuk meningkatkan kinerja Lensa, kami sedang membangun filter NSFW. Ini akan secara efektif mengaburkan gambar eksplisit apa pun yang terdeteksi. Ini akan tetap menjadi kebijakan pengguna jika mereka ingin membuka atau menyimpan citra tersebut.”