Menyetel Model XGBoost

Penyetelan model otomatis, juga dikenal sebagai tuning hyperparameter, menemukan versi terbaik dari model dengan menjalankan banyak pekerjaan yang menguji berbagai hiperparameter pada kumpulan data pelatihan dan validasi Anda. Anda memilih tiga jenis hyperparameters:

• objectivefungsi pembelajaran untuk mengoptimalkan selama pelatihan model

• an eval_metric untuk digunakan untuk mengevaluasi kinerja model selama validasi

• satu set hyperparameters dan rentang nilai untuk masing-masing untuk digunakan saat menyetel model secara otomatis

Anda memilih metrik evaluasi dari kumpulan metrik evaluasi yang dihitung oleh algoritme. Penyetelan model otomatis mencari hiperparameter yang dipilih untuk menemukan kombinasi nilai yang menghasilkan model yang mengoptimalkan metrik evaluasi.

catatan

Penyetelan model otomatis untuk XGBoost 0.90 hanya tersedia dari Amazon SageMaker SDK, bukan dari konsol. SageMaker

Untuk informasi selengkapnya tentang penyetelan model, lihatLakukan penyetelan model otomatis dengan SageMaker.

Metrik Evaluasi Dihitung oleh Algoritma XGBoost

Algoritma XGBoost menghitung metrik berikut untuk digunakan untuk validasi model. Saat menyetel model, pilih salah satu metrik ini untuk mengevaluasi model. Untuk daftar lengkap eval_metric nilai yang valid, lihat Parameter Tugas Pembelajaran XGBoost

Nama Metrik	Deskripsi	Arah Optimasi
validation:accuracy	Tingkat klasifikasi, dihitung sebagai # (kanan) /# (semua kasus).	Maksimalkan
validation:auc	Area di bawah kurva.	Maksimalkan
validation:error	Tingkat kesalahan klasifikasi biner, dihitung sebagai # (kasus salah) /# (semua kasus).	Minimalkan
validation:f1	Indikator akurasi klasifikasi, dihitung sebagai rata-rata harmonik presisi dan ingatan.	Maksimalkan
validation:logloss	Kemungkinan log negatif.	Minimalkan
validation:mae	Berarti kesalahan absolut.	Minimalkan
validation:map	Rata-rata presisi rata-rata.	Maksimalkan
validation:merror	Tingkat kesalahan klasifikasi multiclass, dihitung sebagai # (kasus salah) /# (semua kasus).	Minimalkan
validation:mlogloss	Kemungkinan log negatif untuk klasifikasi multiclass.	Minimalkan
validation:mse	Berarti kesalahan kuadrat.	Minimalkan
validation:ndcg	Keuntungan kumulatif diskon yang dinormalisasi.	Maksimalkan
validation:rmse	Root berarti kesalahan kuadrat.	Minimalkan

Hiperparameter XGBoost yang dapat disetel

Setel model XGBoost dengan hyperparameter berikut. Hyperparameter yang memiliki efek terbesar dalam mengoptimalkan metrik evaluasi XGBoost adalah:alpha,,,, min_child_weight dan. subsample eta num_round

Nama Parameter	Jenis Parameter	Rentang yang Direkomendasikan
alpha	ContinuousParameterRanges	MinValue: 0, MaxValue: 1000
colsample_bylevel	ContinuousParameterRanges	MinValue: 0,1, MaxValue: 1
colsample_bynode	ContinuousParameterRanges	MinValue: 0,1, MaxValue: 1
colsample_bytree	ContinuousParameterRanges	MinValue: 0,5, MaxValue: 1
eta	ContinuousParameterRanges	MinValue: 0,1, MaxValue: 0,5
gamma	ContinuousParameterRanges	MinValue: 0, MaxValue: 5
lambda	ContinuousParameterRanges	MinValue: 0, MaxValue: 1000
max_delta_step	IntegerParameterRanges	[0, 10]
max_depth	IntegerParameterRanges	[0, 10]
min_child_weight	ContinuousParameterRanges	MinValue: 0, MaxValue: 120
num_round	IntegerParameterRanges	[1, 4000]
subsample	ContinuousParameterRanges	MinValue: 0,5, MaxValue: 1