Summary Project
Proyek ini menggabungkan dua tugas utama: mendeteksi teks hasil generatif AI dan menilai otomatis jawaban esai.
Berangkat dari meningkatnya penggunaan model AI seperti ChatGPT untuk menyelesaikan tugas akademik khususnya dalam menjawab soal ujian esai. Tujuannya adalah membantu pendidik membedakan mana jawaban yang ditulis oleh manusia dan mana yang dihasilkan oleh AI, sekaligus memberikan penilaian otomatis berdasarkan kesamaan semantik dengan kunci jawaban, serta penerapan penalti berupa pengurangan nilai apabila terindikasi penggunaan AI .
Sistem ini terdiri dari dua komponen utama
- Model deteksi AI-generated text menggunakan model pre-trained IndoBERT melalui proses fine-tuning, yang mampu mencapai akurasi 92% pada data pengujian
- Penilaian otomatis yang menghitung kesamaan semantik antara jawaban dan kunci jawaban menggunakan cosine similarity
Kedua komponen tersebut diintegrasikan dalam satu pipeline yang menghasilkan skor akhir, dengan penyesuaian nilai jika ditemukan indikasi penggunaan teks AI. Proyek ini diimplementasikan dalam aplikasi web sederhana berbasis Flask yang menampilkan hasil deteksi dalam bentuk persentase, skor semantik, dan nilai akhir
Tools
- Python
- HuggingFace (IndoBERT)
- Scikit-learn, Numpy, Pandas
- Flask (untuk web interface)
What I Learned?
- Melakukan fine-tuning model IndoBERT untuk tugas deteksi teks
- Melakukan hyperparameter tuning dan memahami pengaruhnya terhadap akurasi
- Menyadari pentingnya kualitas dan keseimbangan dataset dalam NLP
- Mengintegrasikan dua model berbeda dalam satu sistem terpadu
- Mengembangkan aplikasi web sederhana untuk menampilkan hasil analisis