ANALISIS SENTIMEN ULASAN APLIKASI WATTPAD DI GOOGLE PLAY STORE DENGAN METODE RANDOM FOREST

Abstrak

Wattpad merupakan salah satu aplikasi dan situs komunitas daring yang memungkinkan pengguna menulis atau membaca konten informasi dalam lingkup sastra dengan berbagai genre atau kategori seperti cerita pendek, klasik, aksi, petualangan, romansa, fantasi, humor, spiritual, misteri, horor, puisi, fiksi ilmiah, fiksi sejarah, fiksi remaja, fiksi umum, fiksi penggemar, dan non fiksi. Hingga Desember 2023, 90 juta pengguna menghabiskan lebih dari 23 miliar menit mengakses aplikasi ini setiap bulannya. Penelitian ini bertujuan untuk memberikan gambaran sentimen pengguna sekaligus mengklasifikasikannya sebagai teks sentimen negatif atau positif menggunakan metode Random Forest dan Random Forest yang di optimasi dengan SMOTE (Synthetic Minority Oversampling Technique) pada ulasan pengguna Aplikasi Wattpad yang mengalami ketidakseimbangan kelas. Hasil penelitian menunjukkan bahwa dari 9.975 hasil pengumpulan data, hanya 8.743 data yang dapat digunakan dengan persentase sentimen positif sebesar 64,2% (5.616) dan 35,8% (3.127) sentimen negatif. Metode Random Forest tanpa optimasi SMOTE cenderung lebih unggul dalam memprediksi klasifikasi sentimen yang tidak seimbang, ini dapat dilihat dari nilai akurasi yang mencapai 84,05%, presisi 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, dan nilai AUC 0,9166 yang dikategorikan sebagai klasifikasi yang sangat baik. Pemodelan SMOTE Random Forest mampu meningkatkan kemampuan untuk mengklasifikasikan kelas minoritas yakni sentimen negatif, dapat dilihat dari naiknya nilai presisi dari dari 84,71% ke 86,70% (1,99%). Sayangnya, penyeimbangan kelas ini berdampak pada penurunan performa akurasi, recall, f1-score dan nilai AUC. Selain itu, berdasarkan nilai feature importance, fitur yang paling berpengaruh pada kedua model adalah atribut kata “kecewa”, “bagus”, dan “baik”.