Prediksi Dropout Mahasiswa Menggunakan Ensemble Learning dan Hyperparameter Tuning

Hendra cung — Wed, 30 Sep 2026 07:41:02 +0000

Setiap tahun ada mahasiswa yang berhenti kuliah sebelum lulus. Di artikel ini kami membangun model machine learning untuk memprediksi apakah seorang mahasiswa akan dropout, masih terdaftar (enrolled), atau lulus (graduate). Kami membandingkan dua model baseline dengan beberapa metode Ensemble Learning (Bagging, Random Forest, Soft Voting, AdaBoost, Gradient Boosting, dan Stacking), lalu mengoptimasi model dengan hyperparameter tuning memakai GridSearchCV.

Seluruh eksperimen dijalankan di Google Colab: buka notebook di Google Colab

1. Permasalahan dan Tujuan

Dropout merugikan mahasiswa (waktu dan biaya) dan juga kampus. Kalau mahasiswa yang berisiko bisa dikenali lebih awal, kampus bisa memberi pendampingan akademik atau bantuan keuangan sebelum terlambat.

Tujuan eksperimen ini:

Membuat model klasifikasi 3 kelas: Dropout, Enrolled, dan Graduate.
Membandingkan model baseline dengan beberapa metode ensemble.
Mengoptimasi model dengan hyperparameter tuning.
Mencari faktor yang paling berhubungan dengan dropout.

2. Dataset

Kami memakai dataset Predict Students' Dropout and Academic Success dari UCI Machine Learning Repository:
https://archive.ics.uci.edu/dataset/697/predict+students+dropout+and+academic+success

Keterangan	Isi
Asal data	Polytechnic Institute of Portalegre, Portugal (angkatan 2008/2009 sampai 2018/2019)
Jumlah data	4424 mahasiswa
Fitur	36 (data pendaftaran, latar belakang keluarga, kondisi ekonomi, nilai semester 1 dan 2)
Target	Dropout, Enrolled, Graduate
Lisensi	CC BY 4.0

Dataset bisa dibaca langsung dari link download UCI, jadi tidak perlu upload file ke Colab. Pemisah kolomnya titik koma (;).

url = "https://archive.ics.uci.edu/static/public/697/predict+students+dropout+and+academic+success.zip"
df = pd.read_csv(url, sep=";")

print("Shape:", df.shape)   # (4424, 37)

Hasil pengecekan awal: tidak ada missing value dan tidak ada data duplikat.

3. Eksplorasi Data (EDA)

Distribusi target

Jumlah data tiap kelas tidak seimbang: Graduate 2209 (49.9%), Dropout 1421 (32.1%), dan Enrolled 794 (17.9%). Karena itu kami tidak hanya melihat akurasi, tetapi memakai F1-macro sebagai metrik utama.

Jumlah mata kuliah yang lulus di semester 2

Mahasiswa yang dropout lulus jauh lebih sedikit mata kuliah. Nilai tengahnya (median) 0 mata kuliah, sedangkan Enrolled 4 dan Graduate 6.

Status pembayaran uang kuliah

Dari mahasiswa yang uang kuliahnya tidak lunas, 86.6% berakhir dropout. Pada mahasiswa yang uang kuliahnya lunas, angka dropout hanya 24.7%.

Korelasi fitur dengan dropout

Untuk melihat korelasi, kami membuat kolom bantu Dropout (1 = dropout, 0 = tidak dropout).

Fitur yang paling berhubungan dengan dropout adalah jumlah mata kuliah lulus dan nilai semester 2 (korelasi -0.57), lalu semester 1 (-0.48) dan status uang kuliah lunas (-0.43). Tanda minus artinya semakin tinggi nilainya, semakin kecil kemungkinan dropout.

4. Preprocessing

Langkah preprocessing yang kami lakukan:

Merapikan nama kolom, karena ada satu nama kolom yang mengandung karakter tab di ujungnya.
Mengubah target menjadi angka: Dropout = 0, Enrolled = 1, Graduate = 2.
Memisahkan fitur (X) dan target (y).
Membagi data menjadi 80% data latih dan 20% data uji. stratify=y menjaga proporsi ketiga kelas tetap sama di data latih dan data uji.

df.columns = df.columns.str.strip()
df["Target"] = df["Target"].map({"Dropout": 0, "Enrolled": 1, "Graduate": 2})

X = df.drop(columns="Target")
y = df["Target"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.20,
    random_state=RANDOM_STATE,
    stratify=y
)

Hasilnya 3539 data latih dan 885 data uji. Semua fitur sudah berbentuk angka dan tidak ada missing value, jadi model bisa langsung dilatih tanpa encoding atau imputasi. Standarisasi (StandardScaler) hanya dipakai untuk Logistic Regression, karena model berbasis pohon tidak terpengaruh skala fitur.

Ada tiga keputusan lain yang kami ambil di tahap ini:

Outlier tidak kami hapus. Di bagian EDA, boxplot jumlah mata kuliah yang lulus di semester 2 memperlihatkan beberapa outlier pada ketiga kelas, yaitu titik-titik kecil di luar garis whisker. Outlier ini masih masuk akal, misalnya mahasiswa yang memang lulus banyak mata kuliah, atau mahasiswa Graduate yang tidak mengambil mata kuliah sama sekali di semester 2 (titik-titik di angka 0). Selain itu, model berbasis pohon tidak terlalu sensitif terhadap outlier.
Kode kategori dibiarkan berupa angka. Walaupun semua fitur berbentuk angka, beberapa kolom sebenarnya adalah kode kategori, misalnya Course (program studi) dengan kode seperti 171 atau 9254. Model berbasis pohon tetap bisa memisahkan kode-kode ini lewat percabangan, jadi kami tidak melakukan encoding. Logistic Regression berbeda: model ini membaca kode sebagai angka biasa, padahal kode 9254 tidak berarti lebih besar dari kode 171. Untuk model ini, one-hot encoding mungkin lebih baik.
Data leakage kami cegah. Data leakage adalah bocornya informasi dari data uji ke proses pelatihan, sehingga skor model terlihat lebih bagus dari yang sebenarnya. StandardScaler kami letakkan di dalam Pipeline. Dengan begitu, saat cross validation (lihat bagian 5), scaler hanya menghitung rata-rata dan simpangan baku dari bagian yang dipakai untuk melatih, bukan dari bagian yang dipakai untuk menguji. Data uji tidak disentuh selama pelatihan dan tuning, dan baru dipakai di akhir untuk menilai model yang sudah jadi.

5. Model Baseline dan Cross Validation

Baseline adalah model sederhana sebagai pembanding. Kami memakai Logistic Regression (dengan StandardScaler di dalam Pipeline) dan satu Decision Tree.

logistic = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(max_iter=1000))
])

tree = DecisionTreeClassifier(random_state=RANDOM_STATE)

Model	Akurasi train	Akurasi test	F1-macro test
Logistic Regression	-	0.768	0.683
Decision Tree	1.000	0.697	0.639

Decision Tree mendapat akurasi 1.0 di data latih tetapi hanya 0.697 di data uji. Satu pohon keputusan menghafal data latih (overfitting).

Skor dari satu kali pembagian data bisa kebetulan bagus atau jelek. Karena itu kami memakai cross validation 5-fold: data latih dibagi menjadi 5 bagian, model dilatih di 4 bagian dan diuji di 1 bagian sisanya, diulang 5 kali, lalu skornya dirata-rata.

cv_lr = cross_val_score(logistic, X_train, y_train, cv=5, scoring="f1_macro")
cv_tree = cross_val_score(tree, X_train, y_train, cv=5, scoring="f1_macro")

F1-macro CV Logistic Regression: [0.668 0.693 0.681 0.666 0.681] rata-rata: 0.6779
F1-macro CV Decision Tree      : [0.631 0.606 0.606 0.646 0.601] rata-rata: 0.618

6. Ensemble Learning

Ensemble learning menggabungkan banyak model supaya prediksinya lebih baik dan lebih stabil dibanding satu model saja.

6.1 Bagging dan Random Forest

Bagging (Bootstrap Aggregating) melatih banyak Decision Tree pada sampel data yang diambil acak dengan pengembalian, lalu menggabungkan hasil prediksinya. Random Forest adalah bagging yang di setiap percabangan pohon hanya memakai sebagian fitur secara acak, sehingga pohon-pohonnya lebih beragam.

bagging = BaggingClassifier(
    estimator=DecisionTreeClassifier(random_state=RANDOM_STATE),
    n_estimators=100,
    random_state=RANDOM_STATE,
    n_jobs=-1
)

rf = RandomForestClassifier(
    n_estimators=200,
    random_state=RANDOM_STATE,
    n_jobs=-1
)

Bagging menaikkan F1-macro test dari 0.639 (satu Decision Tree) menjadi 0.677, dan Random Forest mendapat 0.682. Menggabungkan banyak pohon membuat prediksi lebih stabil.

6.2 Soft Voting

Voting menggabungkan beberapa model yang berbeda jenis. Pada soft voting, probabilitas prediksi dari setiap model dirata-rata, lalu kelas dengan probabilitas tertinggi dipilih.

voting = VotingClassifier(
    estimators=[
        ("lr", logistic),
        ("rf", rf),
        ("bagging", bagging)
    ],
    voting="soft"
)

Soft Voting mendapat akurasi test 0.772 (tertinggi dari semua model) dan F1-macro test 0.688.

6.3 Boosting: AdaBoost dan Gradient Boosting

Boosting melatih model secara berurutan. Model berikutnya fokus memperbaiki kesalahan model sebelumnya.

ada = AdaBoostClassifier(
    n_estimators=200,
    random_state=RANDOM_STATE
)

gb = GradientBoostingClassifier(random_state=RANDOM_STATE)

AdaBoost mendapat F1-macro test 0.664, justru lebih rendah dari baseline Logistic Regression. Gradient Boosting lebih baik dengan F1-macro test 0.690.

6.4 Stacking

Stacking memakai prediksi beberapa model (base model) sebagai input untuk satu model terakhir (meta-model). Kami memakai Random Forest, Gradient Boosting, dan AdaBoost sebagai base model, dengan Logistic Regression sebagai meta-model.

stacking = StackingClassifier(
    estimators=[
        ("rf", rf),
        ("gb", gb),
        ("ada", ada)
    ],
    final_estimator=LogisticRegression(max_iter=1000)
)

Stacking mendapat akurasi test 0.765 dan F1-macro test 0.701, tertinggi di antara semua model.

7. Hyperparameter Tuning dengan GridSearchCV

GridSearchCV mencoba semua kombinasi parameter yang kami tentukan. Setiap kombinasi dinilai dengan cross validation 5-fold di data latih, lalu dipilih kombinasi dengan F1-macro tertinggi. Kami melakukan tuning pada Random Forest (27 kombinasi) dan Gradient Boosting (8 kombinasi).

param_rf = {
    "n_estimators": [100, 200, 300],
    "max_depth": [None, 10, 20],
    "min_samples_leaf": [1, 2, 4]
}

grid_rf = GridSearchCV(
    RandomForestClassifier(random_state=RANDOM_STATE),
    param_rf,
    cv=5,
    scoring="f1_macro",
    n_jobs=-1
)
grid_rf.fit(X_train, y_train)

Model	Parameter terbaik	F1-macro CV	F1-macro test
Random Forest (tuned)	`n_estimators=100`, `max_depth=None`, `min_samples_leaf=1`	0.698	0.692
Gradient Boosting (tuned)	`learning_rate=0.05`, `max_depth=3`, `n_estimators=200`	0.703	0.689

Parameter terbaik Random Forest hampir sama dengan parameter bawaan scikit-learn, jadi kenaikannya kecil.

8. Perbandingan Semua Model

Semua model dibandingkan dengan cara yang sama: F1-macro cross validation 5-fold di data latih (F1 CV), lalu akurasi dan F1-macro di data uji.

for name, model in models.items():
    cv_score = cross_val_score(model, X_train, y_train, cv=5, scoring="f1_macro", n_jobs=-1)
    pred = model.predict(X_test)
    results.append({
        "Model": name,
        "F1 CV": cv_score.mean(),
        "Accuracy Test": accuracy_score(y_test, pred),
        "F1 Test": f1_score(y_test, pred, average="macro")
    })

Model	F1 CV	Akurasi test	F1 test
Stacking	0.714	0.765	0.701
Gradient Boosting (tuned)	0.703	0.759	0.689
Soft Voting	0.701	0.772	0.688
Gradient Boosting	0.701	0.759	0.690
Bagging	0.699	0.749	0.677
Random Forest (tuned)	0.698	0.767	0.692
Random Forest	0.693	0.765	0.682
Logistic Regression (baseline)	0.678	0.768	0.683
AdaBoost	0.672	0.744	0.664
Decision Tree (baseline)	0.618	0.697	0.639

9. Evaluasi Model Final

Model final dipilih berdasarkan F1 CV tertinggi, bukan skor data uji, supaya data uji tetap menjadi penilaian akhir yang netral. Model terpilih adalah Stacking.

              precision    recall  f1-score   support

     Dropout       0.79      0.74      0.76       284
    Enrolled       0.55      0.44      0.49       159
    Graduate       0.81      0.90      0.85       442

    accuracy                           0.76       885
   macro avg       0.72      0.69      0.70       885
weighted avg       0.76      0.76      0.76       885

Cara membaca confusion matrix: baris adalah kelas asli, kolom adalah hasil prediksi, dan angka di diagonal adalah prediksi yang benar.

Graduate dikenali dengan sangat baik: 398 dari 442 benar (recall 0.90).
Dropout cukup baik: 209 dari 284 benar (recall 0.74).
Enrolled paling sulit: hanya 70 dari 159 benar (recall 0.44). Sebanyak 39 mahasiswa Enrolled diprediksi Dropout dan 50 diprediksi Graduate.

10. Fitur Paling Berpengaruh

Stacking tidak punya atribut feature_importances_, jadi kami memakai Random Forest hasil tuning untuk melihat fitur yang paling berpengaruh.

Empat fitur teratas adalah jumlah mata kuliah lulus dan nilai di semester 2 dan semester 1. Ini sesuai dengan temuan EDA. Status uang kuliah lunas juga masuk 10 fitur terpenting.

11. Analisis Hasil

Ensemble lebih baik dari baseline. Stacking memberikan F1-macro CV 0.714 dan F1-macro test 0.701. Dibanding Logistic Regression (CV 0.678, test 0.683), F1-macro naik sekitar 0.02 sampai 0.04. Dibanding Decision Tree (CV 0.618, test 0.639), naik sekitar 0.06 sampai 0.10.
Tidak semua ensemble otomatis lebih baik. AdaBoost (CV 0.672) masih di bawah Logistic Regression. Soft Voting punya akurasi test tertinggi (0.772), tetapi F1-macro-nya (0.688) di bawah Stacking. Inilah alasan kami memakai F1-macro sebagai metrik utama: akurasi bisa tinggi walaupun kelas kecil (Enrolled) sering salah.
Efek hyperparameter tuning kecil. Tuning menaikkan F1-macro CV Random Forest dari 0.693 menjadi 0.698 dan Gradient Boosting dari 0.701 menjadi 0.703. Parameter bawaan scikit-learn ternyata sudah cukup baik untuk dataset ini.
Kelas Enrolled paling sulit. Datanya paling sedikit (17.9%) dan kondisinya berada di antara Dropout dan Graduate, sehingga sering tertukar dengan dua kelas lainnya.
Faktor akademik paling penting. Jumlah mata kuliah lulus dan nilai di semester 1 dan 2 adalah fitur terpenting, diikuti faktor lain seperti nilai masuk, usia, dan status uang kuliah.

12. Kesimpulan

Ensemble learning berhasil meningkatkan performa prediksi dropout dibanding model baseline. Model terbaik adalah Stacking (Random Forest + Gradient Boosting + AdaBoost dengan meta-model Logistic Regression) dengan F1-macro 0.701 dan akurasi 0.765 di data uji.
Hyperparameter tuning dengan GridSearchCV hanya memberi kenaikan kecil (sekitar 0.002 sampai 0.005 F1-macro CV).
Prestasi akademik di semester 1 dan 2 serta status pembayaran uang kuliah adalah faktor yang paling berhubungan dengan dropout. Kampus dapat memakai faktor-faktor ini sebagai tanda awal untuk memberi pendampingan.

13. Keterbatasan

Data hanya berasal dari satu institusi di Portugal, jadi hasilnya belum tentu sama untuk kampus lain, termasuk di Indonesia.
Model memakai nilai semester 1 dan 2, sehingga prediksi baru bisa dibuat setelah semester 2 selesai, bukan saat mahasiswa baru masuk.
Kelas Enrolled masih sulit diprediksi (recall 0.44).
Tuning hanya dilakukan pada dua model dengan jumlah kombinasi parameter yang sedikit. Grid yang lebih luas mungkin memberi hasil berbeda.
Data uji hanya dibagi satu kali (random_state=42), jadi skor test bisa sedikit berbeda jika pembagian datanya diubah.

Notebook

Kode lengkap beserta semua output bisa dilihat dan dijalankan ulang di Google Colab: https://colab.research.google.com/drive/1JF6VieRSYcE72Dp49FVNyb9wadaA8P_8

Anggota Kelompok

No	Nama	NIM
1	Priskila Novaulin Tulangouw	2432084
2	Selia Emeline	2432035
3	Hendra Cung	2432065
4	Shinta Natalia	2432020
5	Firman	2432063

Mata kuliah Penerapan Kecerdasan Buatan, Program Studi Teknologi Informasi.

Referensi

Realinho, V., Machado, J., Baptista, L., & Martins, M. V. (2022). Predicting Student Dropout and Academic Success. Data, 7(11), 146. https://doi.org/10.3390/data7110146
UCI Machine Learning Repository: Predict Students' Dropout and Academic Success. https://archive.ics.uci.edu/dataset/697/predict+students+dropout+and+academic+success
Dokumentasi scikit-learn: Ensemble methods. https://scikit-learn.org/stable/modules/ensemble.html

DEV Community: Hendra cung