Evaluation metrics for classification

분류모델의 성능을 판단하기 위한 평가지표

어떤 문제인지에 따라 어느 평가지표를 우선시 해야하는지 판단해야 함

 

임계값 : 분류문제에서, 예측확률은 임계값을 기준으로 분류할 수 있다. 적절한 평가지표 값이 나오는 임계값을 채택하여 분류할 수 있다.

 

ROC(Receiver Operating Characteristic), AUC(Area Under the Curve)

ROC curve : 여러 임계값에 대한 True positive rate(TPR, recall)과 False positive rate(FPR) 그래프

AUC : ROC curve 아래 면적

ROC curve의 곡률이 높을 수록, AUC 값이 1에 가까울수록, 두 범주(class)는 잘 분류되었다고 할 수 있다.

 

가장 곡률이 높은 점이 최적 임계값을 채택한 지점이라고 볼 수 있다.

 

(ROC curve는 이진분류문제에서 사용가능하므로, 다중분류문제에서 사용하고자 한다면 이진클래스로 변환해야한다)