Model Selection

Hyperparameter tuning

1. validation curve

training set score와 validation set score가 크게 차이나기 시작하는 지점 (코발트색 선)의 hyperparameter 값을 사용하여 model을 생성하면 최적 model

 

 

 

2. cross validation 사용

훈련데이터를 k개로 분할하여 분할한 그 중 하나의 set를 validation set로, 나머지 k-1개의 set를 training set로 사용하여 검증하는 방법. validation set을 바꿔가며 k번 반복.

 

1) Randomized Search CV

검증하려는 하이퍼파라미터들의 값의 범위를 정해주면 무작위 n개의 조합에 대해 검증을 진행

 

2) Grid Search CV

검증하려는 하이퍼파라미터들의 수치를 정해주면 그 수치들의 모든 조합에 대해 검증을 진행

 

cross validation으로 찾은 최적의 하이퍼파라미터 조합을

clf.best_params_

로 출력할 수 있음

 

clf.best_score_ #최적 model의 score 출력
pipe = clf.best_estimator_ #최적 model을 pipe에 저장

best_estimator_ 는 CV가 끝난 후 최적 parameter 조합을 사용해 모든 학습데이터(all the training data)를 가지고 다시 학습(refit)한 상태

refit의 default는 true로 설정되어 있으며, refit이 true여야만 best_estimator_로 최적 모델을 다시 학습(refit) 할 수 있음