🚀 Prediksi Regresi Kernel (Kernel Regression Prediction Project)

📝 Deskripsi Proyek

Proyek ini fokus pada pembangunan dan perbandingan model regresi berbasis kernel: Support Vector Regression (SVR) dan Kernel Ridge Regression (KRR). Tujuannya? Untuk memprediksi nilai variabel target berdasarkan 14 fitur yang tersedia.

Model terbaik dipilih melalui Hyperparameter Tuning yang cermat menggunakan Grid Search Cross-Validation (GridSearchCV) 🛠️.

---

📊 Dataset

Dataset kita terdiri dari dua file CSV, train.csv dan test.csv, yang dimuat tanpa header.

• Jumlah Fitur: 14 fitur (feature_1 sampai feature_14) 🔢.
• Variabel Target: 1 variabel target (target) 🎯.
• Ukuran Data Latih (Train): 1768 baris.
• Ukuran Data Uji (Test): 1000 baris.

---

🔬 Metode dan Model

Pra-pemrosesan Data (Preprocessing)

1. Pemuatan Data: Kolom diberi nama secara manual saat dimuat 🏷️.
2. Penskalaan Fitur: Fitur dinormalisasi menggunakan StandardScaler untuk menyamakan skala, penting untuk model berbasis jarak 📏.

Model Regresi

Tiga konfigurasi model diuji:

1. Support Vector Regression (SVR) dengan Kernel RBF ⚪.
2. Support Vector Regression (SVR) dengan Kernel Polynomial (Poly) 🌈.
3. Kernel Ridge Regression (KRR) dengan Kernel RBF ⭐.

Optimasi Hyperparameter

GridSearchCV mencari hyperparameter paling optimal untuk setiap model:

Model	Hyperparameter yang Diuji
SVR RBF	C, epsilon, gamma
SVR Poly	C, epsilon, gamma, degree, coef0
KRR RBF	alpha, gamma, kernel

---

✅ Hasil dan Evaluasi Model

Model dievaluasi menggunakan Mean Squared Error (MSE) dan skor R-squared (R²) 💯.

Model	MSE (Mean Squared Error)	R² (R-squared Score)
SVR RBF	$\approx 0.0000$	$\approx -0.0001$
SVR Poly	$\approx 0.0000$	$\approx -0.0001$
Kernel Ridge Regression (KRR)	$\approx 0.0000$	$\approx 0.9815$ 🏆

Kesimpulan Hasil: Kernel Ridge Regression (KRR) adalah JUARA! 🥇 Model ini menunjukkan kinerja terbaik dengan skor R² yang luar biasa tinggi ($\approx 0.9815$), yang berarti model ini dapat menjelaskan hampir semua variabilitas data target.

Model SVR, meskipun memiliki MSE rendah, memiliki skor R² negatif, yang menunjukkan performa prediksi yang buruk 👎.

---

💻 Kebutuhan (Requirements)

Untuk menjalankan notebook ini, pastikan Anda memiliki pustaka Python berikut:

pip install pandas numpy scikit-learn matplotlib seaborn

Pustaka Utama:

• pandas
• numpy
• scikit-learn (sklearn)
• matplotlib
• seaborn

---

🚀 Cara Menjalankan

1. Clone Repository

git clone https://github.com/rifaldomalau/SVR-n-Polynomial-SVR-n-Kernel-Ridge-Regression-Synthetic-Regression.git

2. Masuk Directory

cd SVR-n-Polynomial-SVR-n-Kernel-Ridge-Regression-Synthetic-Regression

3. Install Library

pip install -r requirements.txt

4. Jalankan Notebook

jupyter notebook Notebook v1.ipynb

---

🔎 Analisis Tambahan

Visualisasi data menunjukkan adanya korelasi negatif yang kuat antara feature_1 dan target 📉. Ini menguatkan mengapa model regresi yang baik dalam menangani hubungan (mendekati) linier, seperti Kernel Ridge Regression, bekerja dengan sangat baik.