Roblox dan Artificial Intelligence: Analisis Sentimen 40 Ribu Ulasan
Tulisan dari Muhammad Daffa Husen tidak mewakili pandangan dari redaksi kumparan
PerbesarSebanyak 40.298 ulasan Roblox berbahasa Indonesia menjadi bahan penelitian untuk melihat sejauh mana kecerdasan buatan dapat memahami pendapat pemain. Ulasan tersebut berasal dari Google Play Store dan berisi beragam pengalaman pengguna, mulai dari pujian terhadap permainan hingga keluhan mengenai performa, fitur, dan pengalaman bermain.
Roblox sendiri telah menjadi salah satu platform permainan yang digunakan oleh berbagai kalangan, termasuk pengguna di Indonesia. Di balik popularitasnya, ribuan pengguna meninggalkan ulasan yang sebenarnya menyimpan banyak informasi mengenai pengalaman mereka ketika menggunakan aplikasi.
Ulasan-ulasan tersebut bukan hanya menjadi tempat untuk memberikan komentar. Ketika dianalisis dalam jumlah besar, kumpulan ulasan dapat memberikan gambaran mengenai bagaimana pengguna memandang sebuah aplikasi.
Hal inilah yang kemudian menjadi dasar penelitian tugas akhir saya di Program Studi Teknik Komputer, Universitas Syiah Kuala.
Penelitian tersebut berjudul “Analisis Sentimen Berbasis Machine Learning dan Transformer terhadap Ulasan Game Roblox”. Melalui penelitian ini, saya mencoba melihat bagaimana teknologi kecerdasan buatan dapat digunakan untuk mengenali sentimen pengguna Roblox Indonesia secara otomatis.
Analisis Sentimen Roblox dengan AI Berawal dari 50 Ribu Ulasan
Distribusi kelas sentimen pada 40.298 ulasan Roblox berbahasa Indonesia. Sumber: dokumentasi penelitian penulis.
Penelitian ini menggunakan ulasan Roblox berbahasa Indonesia yang diperoleh dari Google Play Store.
Pada tahap awal, sebanyak 50.000 ulasan dikumpulkan. Data tersebut kemudian melalui proses pembersihan untuk menghilangkan data kosong serta ulasan yang terduplikasi.
Setelah proses tersebut dilakukan, diperoleh 40.298 ulasan yang digunakan sebagai dataset akhir penelitian.
Setiap ulasan kemudian dikelompokkan ke dalam tiga kategori sentimen, yaitu positif, negatif, dan netral.
Dari keseluruhan dataset, terdapat 19.488 ulasan negatif atau sekitar 48,36 persen, 18.339 ulasan positif atau sekitar 45,51 persen, serta 2.471 ulasan netral atau sekitar 6,13 persen.
Komposisi tersebut menunjukkan bahwa jumlah ulasan positif dan negatif relatif berimbang. Sementara itu, jumlah ulasan netral jauh lebih sedikit dibandingkan dua kategori lainnya.
Hal ini juga menunjukkan bahwa sebagian besar pengguna cenderung menyampaikan pendapat yang cukup jelas ketika menulis ulasan, baik dalam bentuk apresiasi maupun keluhan terhadap permainan.
Membandingkan Machine Learning dan Transformer
Untuk mengetahui seberapa baik komputer dapat memahami sentimen dari sebuah ulasan, penelitian ini membandingkan tiga model, yaitu Support Vector Machine (SVM), IndoBERT, dan IndoBERTweet.
SVM merupakan salah satu algoritma machine learning yang cukup banyak digunakan untuk berbagai tugas klasifikasi, termasuk klasifikasi teks.
Berbeda dengan SVM, IndoBERT dan IndoBERTweet menggunakan pendekatan berbasis transformer yang mampu mempelajari konteks dari sebuah kalimat.
IndoBERT merupakan model bahasa yang dikembangkan untuk memahami teks berbahasa Indonesia. Sementara itu, IndoBERTweet dirancang dengan karakteristik bahasa yang lebih dekat dengan teks yang banyak ditemukan di media sosial.
Ketiga model tersebut diberikan tugas yang sama, yaitu menentukan apakah sebuah ulasan Roblox memiliki sentimen positif, negatif, atau netral.
Dengan membandingkan ketiga model tersebut, penelitian ini tidak hanya melihat model mana yang memperoleh akurasi tertinggi, tetapi juga bagaimana masing-masing pendekatan bekerja ketika menghadapi karakteristik bahasa pengguna Indonesia.
IndoBERT Memberikan Hasil Terbaik
Hasil pengujian menunjukkan bahwa IndoBERT memberikan performa terbaik dengan tingkat akurasi sekitar 88,91 persen.
Selain itu, IndoBERT memperoleh nilai Macro F1 sekitar 81,78 persen. Nilai ini digunakan untuk melihat kemampuan model dalam mengenali seluruh kategori sentimen secara lebih seimbang.
Sementara itu, IndoBERTweet memperoleh akurasi sekitar 87,89 persen, sedangkan SVM mencapai sekitar 84,07 persen.
Pada dataset dan konfigurasi yang digunakan dalam penelitian ini, model berbasis transformer menghasilkan performa yang lebih tinggi dibandingkan SVM.
Salah satu keunggulan model seperti IndoBERT adalah kemampuannya dalam memahami konteks kata di dalam sebuah kalimat.
Dalam bahasa sehari-hari, sebuah kata tidak selalu memiliki arti yang sama ketika digunakan dalam konteks yang berbeda. Kalimat yang terlihat positif ketika hanya dilihat dari beberapa kata tertentu belum tentu memiliki sentimen positif apabila keseluruhan konteksnya diperhatikan.
Kemampuan dalam memahami konteks tersebut menjadi salah satu alasan mengapa model transformer banyak digunakan dalam berbagai pengembangan teknologi pemrosesan bahasa alami atau Natural Language Processing (NLP).
Sentimen Netral Jadi yang Paling Sulit Dibaca
Salah satu temuan menarik dari penelitian ini adalah bahwa sentimen netral menjadi kategori yang paling sulit dikenali oleh model.
Salah satu faktor yang memengaruhinya adalah jumlah data netral yang jauh lebih sedikit dibandingkan data positif dan negatif.
Dari 40.298 data yang digunakan, hanya sekitar 6,13 persen yang termasuk dalam kategori netral.
Selain jumlah data yang lebih sedikit, karakteristik komentar netral juga dapat lebih sulit dibedakan.
Pengguna, misalnya, dapat menulis komentar mengenai suatu fitur, kondisi permainan, atau pembaruan tanpa secara langsung menunjukkan rasa puas maupun kecewa.
Bagi manusia, maksud dari sebuah komentar mungkin dapat dipahami dari konteksnya. Namun, bagi sebuah model kecerdasan buatan, menentukan batas antara komentar netral, positif, dan negatif dapat menjadi lebih kompleks.
Temuan ini menunjukkan bahwa performa sebuah model kecerdasan buatan tidak hanya dipengaruhi oleh algoritma yang digunakan, tetapi juga oleh jumlah, kualitas, dan distribusi data yang digunakan dalam proses pelatihan.
Lebih dari Sekadar Menentukan Positif dan Negatif
Analisis sentimen sebenarnya memiliki penggunaan yang jauh lebih luas dibandingkan hanya menentukan apakah sebuah komentar bersifat positif atau negatif.
Bagi pengembang aplikasi maupun permainan, analisis terhadap ribuan ulasan dapat membantu memperoleh gambaran mengenai respons pengguna tanpa harus membaca setiap komentar satu per satu.
Misalnya, ketika banyak pengguna mulai memberikan keluhan setelah sebuah pembaruan dirilis, sistem analisis sentimen dapat membantu mendeteksi adanya perubahan respons pengguna dalam jumlah besar.
Informasi tersebut kemudian dapat digunakan sebagai salah satu bahan evaluasi dalam pengembangan produk.
Pendekatan serupa juga dapat diterapkan pada berbagai bidang lainnya, seperti analisis ulasan produk di e-commerce, layanan publik, media sosial, layanan pelanggan, hingga evaluasi pengalaman pengguna.
Semakin banyaknya data berbentuk teks yang dihasilkan setiap hari membuat kemampuan untuk mengolah dan memahami informasi tersebut menjadi semakin penting.
Di sinilah teknologi seperti machine learning dan Natural Language Processing dapat membantu mengubah kumpulan teks menjadi informasi yang lebih mudah dianalisis.
Dari Skripsi Menjadi Pengalaman Belajar
Bagi saya, penelitian ini bukan hanya tentang mendapatkan angka akurasi tertinggi.
Proses pengerjaan tugas akhir memberikan pengalaman dalam mengolah data dalam jumlah besar, melakukan preprocessing teks, mengembangkan model machine learning dan transformer, melakukan berbagai eksperimen, hingga mengevaluasi performa model secara sistematis.
Saya telah menyelesaikan studi dan lulus dari Program Studi Teknik Komputer, Universitas Syiah Kuala. Penelitian ini menjadi salah satu bagian penting dalam perjalanan akademik saya sekaligus memperkuat ketertarikan terhadap bidang Artificial Intelligence, Machine Learning, dan Natural Language Processing.
Selama proses penelitian, saya juga menyadari bahwa menggunakan model yang lebih canggih tidak secara otomatis menyelesaikan seluruh permasalahan.
Sebuah sistem kecerdasan buatan tetap sangat bergantung pada kualitas data, metode yang digunakan, konfigurasi model, serta cara hasilnya dievaluasi.
Melalui penelitian terhadap puluhan ribu ulasan Roblox Indonesia ini, saya belajar bahwa kumpulan komentar pengguna yang pada awalnya terlihat seperti teks biasa ternyata dapat diolah menjadi informasi yang bermakna ketika dianalisis menggunakan pendekatan yang tepat.
Hasil penelitian ini juga memperlihatkan bagaimana perkembangan teknologi kecerdasan buatan dapat digunakan untuk memahami bahasa manusia dalam jumlah data yang jauh lebih besar.
Ke depan, pendekatan seperti ini berpotensi membantu pengembang memahami respons pengguna dalam skala besar dan menjadikannya sebagai salah satu bahan evaluasi dalam pengembangan produk digital.
Pada akhirnya, teknologi bukan hanya tentang seberapa canggih sebuah model dibuat, tetapi juga tentang bagaimana teknologi tersebut dapat digunakan untuk memahami informasi dan membantu menyelesaikan permasalahan di dunia nyata.